大模型后训练新范式：On-Policy Distillation（OPD）原理、流程与实验实践详解

下面按“原理 → 目标函数 → 训练循环 → 实验步骤 → 诊断与排错”来解释。

这里的On-Policy Distillation，OPD，不是单一固定算法，而是一类后训练范式：学生模型先按当前策略生成自己的回答轨迹，再让教师模型在这些学生真实访问到的状态上提供 token-level / step-level 监督信号。

Thinking Machines Lab 对它的概括是：SFT 是 off-policy + dense signal，RL 是 on-policy + sparse signal，而 OPD 试图结合两者，即on-policy + dense signal。

1. OPD 的核心思想

传统蒸馏通常是：

Prompt → 教师模型生成标准答案 → 学生模型模仿教师答案

这属于off-policy distillation。问题是学生训练时看到的是教师轨迹，推理时却走自己的轨迹；一旦学生自己前几步走偏，后续上下文就偏离训练分布，容易出现 exposure bias。

OPD 改成：

Prompt → 学生模型自己生成答案 → 教师模型评价学生每一步 → 学生根据教师反馈更新

关键区别是：