别把 `SFT`、`DPO`、`RLHF`、`GRPO` 当成后训练四连跳：真正先决定路线的，是数据形状、参考模型和在线采样

别把SFT、DPO、RLHF、GRPO当成后训练四连跳：真正先决定路线的，是数据形状、参考模型和在线采样

很多团队一说“大模型后训练”，嘴里就会连续冒出SFT、DPO、RLHF、GRPO四个词，仿佛它们只是从轻到重、从旧到新的同一条升级路径。真正开始做项目时，问题往往就出在这里：你以为自己只是在换一个Trainer，其实已经把数据形状、参考模型、奖励来源和训练回路一起换掉了。

这篇文章不做“对齐算法百科”，也不讨论哪种路线永远更先进。我只想把一个最容易被混写的问题拆开讲清楚：这四个名字里，谁主要解决监督学习，谁主要解决偏好学习，谁真的需要在线采样，谁又会把训练成本从标注阶段转移到生成和奖励阶段。如果你正在做模型微调、准备讲项目、或者刚开始读 TRL 文档，这个边界不先拆清，后面几乎一定会在路线判断上走弯路。

1. 第一层先别看 loss，先看你手里到底有什么数据

很多路线之所以会被混，是因为它们都发生在“预训练之后”。但从工程角度看，后训练最先该问的不是“哪篇论文更新”，而是这三个问题：

1. 你手里是标准答案，还是偏好比较，还是只有一个可打分环境？
2. 训练时你能不能接受