Dust: Pretraining Transformers Without Backpropagation

hackernews · Hacker News · 2026-10-06 05:15 · 评分 92

论文提出 Dust 方法，在不使用反向传播的情况下预训练 Transformer，利用激活空间扰动和信用分配机制，并演示其在 Adam 优化器下有效。