AI 编程 › AI 资讯 › 正文

Scaling Laws for Looped Mixture of Experts

arxiv · arXiv · 2026-10-01 01:53 · 评分 80

论文提出Loop Scaling Laws,首个同时建模循环深度、MoE稀疏性、模型规模与数据的缩放定律,核心是带稀疏条件的有界循环映射,为循环混合专家模型的高效扩展提供理论基础。

原文:arXiv | 返回 AI 资讯列表