ER-JEPA: Experience Replay Improves Joint-Embedding Predictive Learning in Language Models

arxiv · arXiv · 2026-09-29 15:56 · 评分 85

ER-JEPA在LLM-JEPA的联合嵌入预测架构中加入情景回放路径，将训练对存入记忆并在每次训练时重放，以改善LLM对抽象语义的感知和预测稳定性，弥补强对齐下预测不够准确稳定的不足。