Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models

针对掩码扩散语言模型（dLM）的信用分配难题，提出Pivot-SD高效自蒸馏方法。去噪过程中，少数关键承诺会大幅降低剩余掩码位置的不确定性并决定大部分输出；现有训练常忽略这一信号，Pivot-SD利用它选择要训练的token，改进后训练效率。