MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers

arxiv · arXiv · 2026-10-06 01:51 · 评分 84

论文分析扩散 Transformer 在高稀疏注意力下质量下降的原因：token 分组约束、交互选择不精确、被丢弃 token 的注意力贡献丢失；据此提出 MC-Sparse，缩小密集与稀疏注意力差距，用于长视频和高分辨率 3D 生成加速。