Rank Collapse Is Recoverable, Growing $|Q|$ Is Not: Out-of-Sample Early Warning for Value Divergence in High-UTD Soft Actor-Critic

arxiv · arXiv · 2026-09-27 01:46 · 评分 77

论文研究高更新-数据比下Soft Actor-Critic的价值发散问题。作者将「塑性损失」分解为表征坍缩与价值幅度|Q|膨胀两类：实验表明表征坍缩可恢复（如HalfCheetah中大部分单元休眠仍能学习），而|Q|持续增长则无法靠现有训练守卫拦截。这为强化学习训练稳定性监测提供了重要洞见。