ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models

arxiv · arXiv · 2026-10-01 16:31 · 评分 80

提出ITC-MoE，用于MoE扩散语言模型的低秩压缩。针对现有多数方法使用静态因子分解和固定秩分配的问题，利用重要性引导与词元感知的压缩分配，处理跨模态非均匀冗余，降低专家参数计算与存储开销。