A Tropical Geometry View of Forgetting: A Per-Unit Projector for Knowledge-Preserving Fine-Tuning

arxiv · arXiv · 2026-10-04 01:36 · 评分 92

该研究从热带几何视角剖析语言模型微调中的灾难性遗忘，指出现有 GPM、Adam-NSCL 等无重放投影方法对所有权重更新共享一个子空间，过于粗糙。通过分析 ReLU 层在数据空间和权重空间中的几何结构，作者提出逐单元投影器，用于在微调时更精细地保留已有知识。