How to Loop MoE: Flatten the Experts, Untie the Attention

arxiv · arXiv · 2026-09-29 01:58 · 评分 81

提出 Foil，解决如何循环 MoE 的问题：展平专家参数、解耦注意力，在固定参数规模下通过循环计算提升专家利用率与模型性能。