When Can First-Order Models of Fine-Tuning Bound Forgetting?

论文研究LLM微调遗忘问题，探索能否在微调初期通过测量为每个受保护事实的遗忘概率设定界限。在0.6B至14B参数的LoRA微调中，用有限差分探针估计的一阶响应模型能高精度预测逐事实边际变化（相关性0.974-0.998）。这表明可利用早期测量预判灾难性遗忘，为安全微调提供理论支撑。