$T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training

arxiv · arXiv · 2026-09-27 01:07 · 评分 82

提出T5（Twin-Critic Training）方法，在强化学习中训练双评论家为Token级内部思考提供单次rollout反馈，以解决reinforcement mid-training中token级信用分配困难、组相对方法需重复生成的问题。