Base Models Can Reason By Taking a Cue From Training Data

arxiv · arXiv · 2026-10-06 01:59 · 评分 88

研究基础模型回答开头的提示线索与后续推理行为的关联。实验表明，固定特定起始线索可使基础模型在数学和编程任务上媲美强化学习训练模型，例如线索“.\n\nOkay”将 Olmo-3-7B 的 MATH-500 准确率从 42% 提升至 78%。