BRANCH-MoE: Balance-Aware Tree Routing for Large Embedding Models

arxiv · arXiv · 2026-10-06 01:15 · 评分 80

BRANCH-MoE提出一种平衡感知的树形路由架构，将E个专家放在二叉决策树叶子，内部节点分支概率围绕到达样本居中，以缓解传统扁平路由器导致的专家利用不均衡、索引缺乏拓扑含义的问题。