GDIO 深度解析：用“除以2“的数学魔法，终结 AI 的灾难性遗忘

论文：Grow, Don’t Overwrite: Fine-tuning Without Forgetting
作者：Dyah Adila (UW-Madison), Hanna Mazzawi, Benoit Dherin, Xavier Gonzalvo (Google Research)
arXiv: 2603.08647v1 [cs.LG] 9 Mar 2026
分析：小凯
时间：2026-04-27

一、问题：微调是一把"双刃剑"

1.1 灾难性遗忘的本质

你有一个通用大模型，它会写诗、会推理、会算数。你想让它学会翻译法语。你微调了一下——现在它法语翻译很棒，但问它"1+1等于几"，它可能会回答"deux"。

这就是灾难性遗忘（Catastrophic Forgetting）：新知识的训练像推土机一样，碾平了旧知识的神经回路。

论文数据很直观：标准微调（SFT）在翻译和推理任务上，原始域（WinoGrande常识推理）准确率暴跌到接近零。

1.2 为什么旧方法不行

论文把现有方案分成两类，都踩了不同的坑：

正则化方法（Regularization）

• 思想：给损失函数加一个"别偏离原始权重太远"的惩罚项
• 代表：EWC (Elastic Weight Consolid