当前位置：首页 > news >正文

除了Post-Train，我们还能对大模型做什么

news 2026/5/22 13:27:59

在开源大模型（如 Llama、Gemma、DeepSeek）大行其道的今天，很多开发者拿到模型后的第一反应就是“做微调（Fine-tuning）”。但正如台湾大学李宏毅教授在《通用模型的终身学习》课程中所言：常规微调往往是一把“杀敌一千，自损八百”的双刃剑。

微调最大的痛点在于极易破坏模型的局部性（Locality）——你高高兴兴教了模型一些特定领域的专业新知识，回头一测，它原本擅长的通用常识和逻辑推理能力，竟然发生了严重的“灾难性遗忘”。

那么，在常规微调（如 Full FT 或 LoRA）之外，为了让大模型的参数能够持续安全地进化，学术界和工业界还在对大模型参数做些什么？李宏毅教授在课上为我们拆解了另外三大核心前沿路径：模型编辑（Model Editing）、模型融合（Model Merging）与测试时训练（Test-Time Training）。

路径一：参数微创手术——模型编辑（Model Editing）

常规微调像是为了修补一个坏掉的零件而重组整台机器，而模型编辑则是直接对参数进行精密的手术，精准改变模型内部的某一个“事实记忆”。

知识精准修补
当现实世界的知识发生变更（例如美国总统换届），我们不希望为了这一个知识点的更新去重新跑一遍耗时费力的微调流程。模型编辑算法（如 ROME、MEMIT）能够像检索 key-value 一样，精准定位到大模型神经网络中存储该事实的特定层与权重，完成局部擦除与重写。
机器不学习（Machine Unlearning）
这是模型编辑当下非常火热的一个衍生方向。大模型在预训练时，不可避免地吞下了大量包含用户隐私（身分证号、手机号）或有毒、侵权的网络数据。
当用户要求撤回隐私时，我们不能把模型销毁重训。通过 Machine Unlearning 技术，可以精准让模型“遗忘”掉特定的个资参数，在保护隐私的同时，保证模型的其他通用能力完全不受损。

路径二：零算力炼丹——模型融合（Model Merging）

如果你手头有一个擅长写代码的微调模型 A，和一个擅长写文案的微调模型 B。在以往，想要一个既能写代码又能写文案的模型，你必须把两批数据混在一起重新训练。

但模型融合（Model Merging）另辟蹊径——它不消耗任何训练算力，直接在参数层面进行几何对齐与化学反应。

开箱即用：在 Hugging Face 的开源社区中，大量的模型进化并不依赖昂贵的算力，而是开发者们通过各种矩阵加权、SLERP（球面线性插值）或者线条对齐技术，把多个微调模型的参数“缝合”在一起。

优势与隐患：它的优势在于成本为零、速度极快，能组合出各项 Benchmark 分数极高的“全能战士”；但隐患在于，由于缺乏实际训练的约束，融合后的参数偶尔会出现逻辑冲突，变成表面全能、实则在极端推理下失效的“缝合怪”。

路径三：边推断边进化——测试时训练（Test-Time Training, TTT）
这是对传统“先训练、后推断”范式的彻底颠覆。李宏毅教授重点介绍的 TTT 提出：模型不应该是一个死板的静态参数包。当用户在使用模型（推断/测试时）的当下，模型就应该根据当前输入的数据流，即时更新自己的参数以适应环境。

在面对连续数据流（Continuous TTA）时，如何保证模型参数一边即时更新、一边不崩溃？视频中介绍了非常精妙的动态机制：

快慢更新机制（Fast-Slow Update）
快更新（Fast Update）：针对当前看到的这一笔测试数据，立刻对模型参数做出极为敏捷的微调。这让模型能够“现学现卖”，完美契合当下的上下文语境。

慢更新（Slow Update）：后台同时默默收集一段时间内的测试数据流，进行更稳健、长周期的大步长参数更新。它的开局虽然慢，但随着时间推移，能沉淀出比快更新更深刻的底层逻辑。

双剑合璧：实验数据表明（如上图趋势），同时开启快、慢更新机制（绿线），其错误率下降的效果要显著优于任何单一更新机制。

模型自动重设（Model Reset）
在测试时让模型持续线上训练，存在一个巨大的致命风险：一旦遇到几笔极端恶意的“脏数据”，模型的参数可能会在持续累积的梯度更新中“走火入魔”彻底坏掉。
因此，成熟的 TTT 框架必须配备自动重设（Reset）机制：系统一旦检测到模型当前的表现发生断崖式下跌，会立刻将参数“回滚”到上一个健康的存档版本，以此保证在线持续学习的安全与鲁棒性。

总结：终身学习的参数之战
从视频课的框架中我们可以看到，大模型的参数进化早已不止“微调”这一条路：