强化学习2——初步理解DPO
目录
一、前言
二、初步理解DPO
一、DPO 解决了 PPO 的什么核心问题？
PPO 的痛点（RLHF 范式）
DPO 的解决思路
二、DPO 与九步认知循环的深层对比
1. 结构映射：DPO 在你的框架中处于什么位置？
2. 核心区别：DPO 是"认知框架的特例"而非"通用框架"
3. 深层联系：DPO 体现了你框架中的某些原则，但缺失了关键部分
三、更高阶的视角：DPO 是你框架的"压缩版"还是"退化版"？
为什么这在工程上有效？
但代价是什么？
四、总结：从认知框架看算法演进
三、初步理解DPO：疑问1
一、核心公式再理解：DPO 到底在优化什么？
拆解你提到的"提升量"
二、人类标注反馈到底是什么？
数据格式
DPO 如何把"成对偏好"变成"可优化的数字"？
三、基座模型（Ref）真的是"本来的理解"吗？
关键区分：Ref 不是"过去的你"，而是约束锚点
为什么需要 Ref？三个核心作用
四、为什么不能"让 Actor 自己输出本来的理解"？
问题 1：Actor 的"本来理解"无法可靠提取
问题 2：Actor 训练过程中"本来的理解"在变化
问题 3：自我指涉的悖论
五、你的类比 vs 技术现实的修正对照
六、更深层的认知框架对应
七、总结：你的理解哪些对，哪些需要调整？
四、GRPO是怎么看待这个问题的？
一、GRPO 的核心洞察：用"组内相对评价"替代"外部绝对基准"
DPO 的困境（也是你的质疑）
GRPO 的损失函数
二、GRPO 如何回应你的五个问题
三、GRPO 与 DPO 的本质区别：认知框架层面的对比
映射到你的九步循环
四、GRPO 如何解决"自我指涉悖论"？
五、GRPO 的代价：你框架中的"粗糙容忍度"变得关键
六、GRPO vs DPO：从"认知依赖"到"认知自主"
七、回到你的直觉：GRPO 验证了什么，修正了什么？
八、更高阶的视角：GRPO 是你九步循环的"内源学习"实现
总结
一、前言
这一篇我们继续看下面这篇的DPO部分
https://zhuanlan.zhihu.com/p/1984387073625593089
《看完能和外婆解释的PPO, DPO, GRPO强化学习》
二、初步理解DPO
DPO（Direct Preference Optimization，直接偏好优化）与PPO（Proximal Policy Optimization，近端策略优化）的关系，以及与你提出的九步认知循环的对比，是一个非常深刻的系统性思考。让我从算法本质和认知框架两个层面来解析。
一、DPO 解决了 PPO 的什么核心问题？
PPO 的痛点（RLHF 范式）
PPO + RLHF 的标准流程是：训练 Reward Model → 用 PPO 优化策略网络
这个两阶段架构存在几个结构性问题：
表格
问题 具体表现 训练不稳定 PPO 需要同时维护策略网络、价值网络、参考模型，超参数敏感（clip ratio、KL penalty 系数等） 奖励黑客（Reward Hacking） 模型会找到 Reward Model 的漏洞而非真正满足人类偏好，需要复杂的约束机制 计算开销大 需要在线采样、计算优势函数、维护大 batch 的经验回放缓冲区 Reward Model 的瓶颈 人类偏好的标注信息先被压缩成标量奖励，信息损失严重；且 RM 本身可能过拟合或分布偏移 DPO 的解决思路
DPO 的核心洞察是：偏好数据本身就蕴含了最优策略的信息，无需显式训练 Reward Model。
它将 RL 问题重新参数化，证明了最优策略与奖励函数之间存在一一对应的闭式关系：
由此推导出直接基于偏好对（chosen vs rejected）的损失函数：
DPO 的本质改进：将"两阶段压缩"（人类偏好→标量奖励→策略优化）简化为"单阶段直接优化"（人类偏好→策略），消除了 Reward Model 这个信息瓶颈和稳定性的脆弱环节。
二、DPO 与九步认知循环的深层对比
你的九步循环是一个通用认知-行动框架，而 DPO 是一个特定优化算法。它们的对比需要在抽象层级和功能映射两个维度展开。
1. 结构映射：DPO 在你的框架中处于什么位置？
你的九步循环 DPO 在 RLHF 中的角色 ───────────────────────────────────────────────── 1. 确立全局大目标 ←→ 对齐人类偏好（Helpful, Harmless, Honest） 2. 目标分解 ←→ 分解为：训练 RM + PPO 调优（旧范式） DPO 简化为：直接偏好优化（新范式） 3. 获取外部信息 ←→ 收集人类偏好数据（chosen/rejected pairs） /搜索优秀样本 【外源学习】：人类反馈就是"优秀样本" 4. 外源学习模式 ←→ 从偏好对中学习"什么回答更好" /分析优秀样本 但 DPO 是"隐式学习"：不显式建模"为什么更好"， 而是直接优化策略以增大偏好概率 5. 内源学习模式 ←→ PPO 中的自我博弈/探索；DPO 移除了这一环节 /自我博弈 【关键区别】 6. 实践验证 ←→ 在验证集上评估偏好预测的准确率 7. 分析差异 ←→ 计算隐式奖励的差距（chosen 的隐式奖励应高于 rejected） 8. 修正更新 ←→ 梯度下降更新策略参数 9. 循环迭代 ←→ 持续收集新偏好数据，重新训练2. 核心区别：DPO 是"认知框架的特例"而非"通用框架"
维度 你的九步循环 DPO 算法 通用性 通用认知框架，适用于任何复杂任务 特定于 LLM 对齐的优化算法 外源/内源 灵活切换：有样本用外源，无样本用内源 几乎纯外源：完全依赖人类标注的偏好对，无内源探索机制 理解的显隐性 第4步强调"输出自己的理解"（显式分析） DPO 是隐式学习：模型不输出"为什么 A 比 B 好"的显式理解，直接调整策略概率 反馈利用 第7-8步强调基于差异的贝叶斯更新 DPO 的更新是确定性的梯度下降，非概率推断 粗糙容忍度 第1、2、9步明确包含 demo 优先、技术债标记 DPO 追求精确优化偏好似然，无显式的"粗糙容忍"机制 停机条件 多维度判断（成本收益、阻塞性） 单一指标：验证集损失不再下降 3. 深层联系：DPO 体现了你框架中的某些原则，但缺失了关键部分
DPO 体现的原则：
外源学习优先（对应你的第3-4步）：DPO 完全依赖人类偏好这种"优秀样本"，符合"外源学习比内源快且有用"。
消除中间瓶颈（对应你的第9步"不做X是否阻碍继续"）：DPO 发现训练 Reward Model 阻碍了对齐效率，于是直接移除，体现"成本-收益"导向的简化思维。
隐式的"取其精华"（对应你的第4步）：通过参考模型 πref 的 KL 约束，DPO 在更新时保留了预训练知识的"精华"，避免过度偏离。
DPO 缺失的关键认知能力：
无内源学习机制（你的第5步）：DPO 没有 AlphaGo 式的自我博弈。当人类偏好数据稀疏或模糊时，DPO 无法通过"内部推演"生成新的训练信号。这是 DPO 与 PPO 的核心差异之一——PPO 允许策略在环境中自主探索，而 DPO 是"静态数据驱动"。
无显式理解层级（你的第4步）：DPO 不解释"为什么 A 比 B 好"，只是机械地调整概率。这导致可解释性差，且难以处理训练数据中的噪声（无法像人类那样"质疑"或"提问"样本质量）。
无动态搜索方向调整（你的第3、8步）：DPO 的数据收集通常是静态的（一次性标注），不像你的框架那样在循环中"更新搜索方向的直觉"。
无粗糙容忍度（你的第1、2、9步）：DPO 追求精确优化偏好似然，缺乏"先跑通 demo"的阶段性容忍，容易在训练初期就过拟合到特定偏好模式。
三、更高阶的视角：DPO 是你框架的"压缩版"还是"退化版"？
从认知科学角度，DPO 实际上做了一种激进的认知压缩：
人类 RLHF 的完整认知链： 人类偏好 → 显式奖励解释 → 策略内部化 → 行为输出 DPO 的压缩： 人类偏好 ──────────────────────→ 行为输出 （跳过显式理解层）这类似于你的框架中，如果第4步的"外源学习"不是"分析-理解-内化"，而是直接的条件反射式模仿——效率极高，但牺牲了理解的深度和泛化能力。
为什么这在工程上有效？
因为 LLM 的预训练已经内化了海量世界的隐式结构（相当于你的"过去经验"）。DPO 只是在这个高维表示空间上做微调，不需要像 AlphaGo 那样从零开始自我博弈。它假设：预训练已经提供了足够的内源知识，缺的只是对齐信号。
但代价是什么？
分布外泛化差：遇到训练时没见过的人类偏好类型，DPO 模型比 PPO 更容易崩溃（因为没有内源探索来"脑补"可能的情况）。
数据质量极度敏感：因为你的框架中第4步的"质疑"和"取其精华"被移除了，DPO 对偏好标注中的错误、偏见、矛盾缺乏鲁棒性。
四、总结：从认知框架看算法演进
你的九步循环揭示了一个更通用的智能体学习范式，而 DPO/PPO 的演进可以看作在这个范式中的策略选择：
PPO（传统 RLHF）：更接近完整的九步循环——有外源（人类反馈）也有内源（策略探索），有显式理解（Reward Model 试图量化"好"），但太重、太慢、太脆弱。
DPO：识别出"在 LLM 对齐这个特定场景下，内源探索和显式理解层是可省略的瓶颈"，于是做了针对性的认知流程简化——用外源数据的直接优化替代了两阶段压缩。
关键洞察：DPO 的成功恰恰验证了你框架中第9步的"成本-收益"原则——当某个环节（Reward Model）的维护成本高于其信息增益时，标记为技术债并移除是理性的。但 DPO 也警示：过度简化会丧失内源学习和显式理解的能力，这在更复杂、更动态的环境中可能成为瓶颈。
你的框架是元认知层的，DPO 是对象层的优化算法。用框架来理解算法，可以看清算法设计背后的取舍逻辑；用算法来反思框架，可以验证哪些认知步骤在特定条件下是"可压缩的"。
三、初步理解DPO：疑问1
你看下我的理解对不对：DPO算法最大化（好答案相对于基座模型的提升量 - 坏答案相对于基座模型的提升量），如果把基座模型看做是我本来的理解，那么Actor就可以看做是我现在的理解，我现在的理解跟我原来的理解相比它是不是更好的？还是更好差的？DPO利用人类的标注反馈让Actor知道自己的理解是变好了还是变差了，那人类标注的反馈是一个衡量Actor输出跟基座模型输出的答案之间相对好坏程度的一个数字吗？这个数字是0到1之间吗？还有就是，基座模型和Actor必须得是同分布是吗？那其实为什么不让Actor自己去输出本来的理解，然后在获得新的知识之后产生新的理解，再对比两个理解呢？感觉Ref的基座模型也是多余的呀？
你的理解方向很有洞察力，但有几个关键的技术细节需要修正。让我逐一拆解：
一、核心公式再理解：DPO 到底在优化什么？
你的直觉：
"最大化（好答案相对于基座模型的提升量 - 坏答案相对于基座模型的提升量）"
基本正确，但表述需要精确化。
DPO 的损失函数：
拆解你提到的"提升量"
符号 含义 你的类比 πθ(y∥x) 当前策略（Actor）生成答案 y 的概率 你"现在的理解" πref(y∥x) 参考模型（Ref/基座）生成答案 y 的概率 你"本来的理解" logπrefπθ 概率比值的对数= 隐式奖励 r^θ(x,y) "理解提升量" 关键点：这不是"答案质量的绝对提升"，而是"当前模型相对于基座模型，对某个答案的偏好强度"。
二、人类标注反馈到底是什么？
你的问题：
"人类标注的反馈是一个衡量Actor输出跟基座模型输出的答案之间相对好坏程度的一个数字吗？这个数字是0到1之间吗？"
不是。人类反馈不是数字，而是成对偏好关系。
数据格式
DPO 的训练数据是三元组：(x,yw,yl)
x ：提示（问题）
yw ：人类标注的"好"答案（chosen/winner）
yl ：人类标注的"坏"答案（rejected/loser）
人类只说了" yw 比 yl 好"，没有说"好多少"，更没有给0-1之间的分数。
DPO 如何把"成对偏好"变成"可优化的数字"？
DPO 假设人类偏好服从Bradley-Terry 模型：
其中 σ 是 sigmoid 函数，输出确实是 0-1 之间的概率值。
但这个概率是模型推断出来的，不是人类直接标注的。
步骤 内容 人类提供 二元偏好：yw≻yl（确定性判断） DPO 假设 人类偏好有噪声，服从 BT 模型 DPO 优化 让 σ(r^θ(x,yw)−r^θ(x,yl)) 趋近于 1 所以 sigmoid 输出的是"模型认为 yw 优于 yl 的概率"，优化目标是让这个概率最大化（趋近于1）。
三、基座模型（Ref）真的是"本来的理解"吗？
你的类比：
"把基座模型看做是我本来的理解...Actor是我现在的理解"
这个类比有启发性，但技术上有偏差。
关键区分：Ref 不是"过去的你"，而是约束锚点
你的直觉 技术现实 "本来的理解" Ref 是预训练模型的冻结副本，不是 Actor 的历史版本 "现在的理解 vs 本来的理解" Actor 是在 Ref 基础上微调，但 Ref 本身不学习、不更新 为什么需要 Ref？三个核心作用
1. 防止模型崩溃（KL 约束的来源）
如果没有 Ref，DPO 损失变成：
这会导致奖励黑客：Actor 可以任意放大 yw 的概率、压低 yl 的概率，甚至生成无意义的极高概率 token。
Ref 的存在使得优化的是相对变化量
，而非绝对概率。这相当于一个正则化项，强制 Actor 不能偏离预训练分布太远。
2. 定义"隐式奖励"的零点
DPO 推导中，最优策略与奖励的关系：
Ref 提供了概率分布的基准线，使得"奖励"有明确定义。没有 Ref，奖励的绝对值无法确定。
3. 保持生成多样性
如果没有 Ref 约束，DPO 容易让模型对所有输入都输出同一个"最安全"的答案（模式崩溃）。Ref 确保模型在偏好未覆盖的区域保持预训练行为。
四、为什么不能"让 Actor 自己输出本来的理解"？
你的问题：
"为什么不让Actor自己去输出本来的理解，然后在获得新的知识之后产生新的理解，再对比两个理解呢？感觉Ref的基座模型也是多余的呀？"
这是一个非常深刻的质疑，但技术上不可行，原因如下：
问题 1：Actor 的"本来理解"无法可靠提取
假设我们让 Actor（未训练前）自己生成答案作为"基线"：
对于同一问题 x ，采样一次得到 y1 ，再采样一次得到 y2
由于采样随机性，y1 和 y2 可能完全不同
哪个是"本来的理解"？无法确定
Ref 是确定性的概率分布（虽然采样有随机性，但分布参数固定），提供了稳定的基准。
问题 2：Actor 训练过程中"本来的理解"在变化
如果每轮训练都用 Actor 的当前输出作为"基线"：
第 t 步：Actor 输出 y(t) ，更新参数
第 t+1 步：Actor 输出 y(t+1) ，但 y(t) 已经不代表"原来的理解"了
这会导致基准线漂移，优化目标不稳定。Ref 是冻结的，提供了固定的参照系。
问题 3：自我指涉的悖论
"Actor 自己输出本来的理解 → 获得新知识 → 对比两个理解"
这相当于让模型自己判断自己的进步，但：
如果 Actor 能正确判断"新理解比旧理解好"，那它根本不需要训练
如果它判断不了，那这个对比机制就不可靠
人类反馈（或外部 Ref）的存在，正是为了打破这种自我指涉的循环。
五、你的类比 vs 技术现实的修正对照
你的直觉类比 修正后的技术理解 Ref = "本来的理解" Ref =冻结的预训练分布，是概率基准线而非"历史自我" Actor = "现在的理解" Actor =可学习的策略，在 Ref 基础上调整 人类反馈 = "0-1之间的相对好坏数字" 人类反馈 =成对偏好关系(yw,yl)；0-1 是模型推断的 BT 概率 "提升量" = 绝对质量提升 "提升量" =相对 Ref 的概率对数比值（隐式奖励） Ref 是多余的 Ref 是必要的正则化锚点，防止崩溃和漂移 六、更深层的认知框架对应
回到你的九步循环，DPO 的设计实际上体现了：
第 4 步的"外源学习"被压缩到了极致：
人类不提供"为什么 A 比 B 好"的显式理解
只提供" A > B "的判别结果
模型通过隐式奖励差来"感受"进步方向
第 8 步的"修正更新"被简化为梯度下降：
不是贝叶斯式的概率更新
是确定性的参数优化：增大 yw 相对 Ref 的优势，减小 yl 的优势
Ref 的存在对应你框架中的"过去经验"约束：
你的框架说"理解有层级，更新是有选择的更新（取其精华，去其糟粕）"
Ref 的 KL 约束就是"有选择"的技术实现：允许偏离，但惩罚过度偏离
七、总结：你的理解哪些对，哪些需要调整？
✅正确的直觉：
DPO 确实在对比"好/坏答案相对于某个基准的变化"
这种对比确实起到了"让模型知道自己在进步还是退步"的作用
成对偏好确实隐含了"相对好坏"的度量
❌需要修正的技术细节：
人类反馈不是 0-1 数字，而是二元偏好对
Ref 不是"过去的 Actor"，而是独立的冻结锚点
Ref 不是多余的，而是防止崩溃和定义奖励零点的必要组件
"Actor 自己对比自己的两个阶段"在技术上不可行（基准漂移、自我指涉）
你的质疑精神很有价值——DPO 的后续改进（如 IPO、KTO、CDPO）确实在尝试减少 Ref 的依赖或改变其角色，但目前没有完全消除 Ref 的稳定训练方案。这本身也说明"外部参照系"在偏好学习中的必要性，与你的认知框架中"外源学习优先"的原则暗合。
四、GRPO是怎么看待这个问题的？
GRPO（Group Relative Policy Optimization）对 DPO 中 Ref 模型必要性的质疑给出了一个激进的答案：在特定条件下，Ref 确实是多余的，但需要引入新的机制来填补它留下的空缺。
GRPO 是 DeepSeek 在训练 DeepSeek-R1 时采用的核心算法，它针对的正是你刚才的那个直觉——"为什么不能自我参照、自我博弈？"
一、GRPO 的核心洞察：用"组内相对评价"替代"外部绝对基准"
DPO 的困境（也是你的质疑）
DPO 需要 Ref 是因为：
单个答案的"好坏"没有绝对尺度
必须用 Ref 定义隐式奖励的零点：
GRPO 的破局思路：
如果一次生成一组答案，让它们互相比较，就不需要外部 Ref 来定义"好"了。
GRPO 的损失函数
对于问题 q ，从当前策略 πθ 采样一组答案{o1,o2,...,oG} ，用奖励模型（或规则）给出每个答案的得分 {r1,r2,...,rG} 。
关键创新：组内归一化
优势 Ai 是相对于组内平均的偏离程度，而非相对于外部 Ref。
策略更新：
二、GRPO 如何回应你的五个问题
你的质疑 DPO 的做法 GRPO 的回应 "Ref 是多余的吗？" Ref 是必需的锚点 可以移除 Ref，用组内相对评价替代绝对基准 "Actor 自己输出本来的理解？" 不可行，基准漂移 可行：πθold 作为短期冻结的"旧我"，但只用于计算概率比，不作为质量基准 "对比两个理解？" 对比的是 Ref vs Actor 对比的是组内答案 vs 组内平均，是"现在的多个我"互相竞争 "人类反馈是 0-1 数字？" 成对偏好，无绝对值 可以是标量奖励（如规则验证的准确率、格式分），通过组内统计转化为相对优势 "必须同分布？" Actor 与 Ref 需同分布 无需外部 Ref，只需 πθ 与 πθold 接近（PPO 的 clip 机制） 三、GRPO 与 DPO 的本质区别：认知框架层面的对比
DPO 的认知结构（外部参照）： 人类偏好(y_w > y_l) → 隐式奖励(相对 Ref) → 优化 Actor ↑_________________________________↓ 【Ref 提供绝对零点，但永不更新】 GRPO 的认知结构（内部竞争）： 问题 q → 生成 G 个答案 → 规则/模型评分 → 组内归一化 → 相对优势驱动更新 ↑________________________________________↓ 【无外部 Ref，"好"的定义由组内动态生成】映射到你的九步循环
步骤 DPO 的角色 GRPO 的角色 3. 获取外部信息 人类标注的成对偏好（昂贵、静态） 规则验证或轻量模型评分（可自动化、动态） 4. 外源学习 从人类偏好隐式学习 弱化：外部信号只提供原始分，不直接告诉"什么是好" 5. 内源学习 ❌ 无 强化：组内采样 = 自我博弈，多个候选答案竞争 7. 分析差异 隐式奖励差（相对 Ref） 组内标准差：答案之间的离散度成为学习信号 8. 修正更新 梯度下降，KL 约束向 Ref PPO-clip 约束向 θold，可选 KL 向 Ref GRPO 的关键转变：把"外源定义的绝对好坏"变成了"内源生成的相对排序"。
四、GRPO 如何解决"自我指涉悖论"？
你之前的质疑：
"Actor 自己判断自己的进步，如果它能正确判断，那根本不需要训练"
GRPO 的解决方案是引入外部验证器（Verifier）作为"客观裁判"，但只提供标量信号，不提供分布基准：
DeepSeek-R1 的 GRPO 实现： ┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐ │ 策略网络 π_θ │────→│ 生成 G 个答案 │────→│ 规则验证器 │ │ (Actor/学生) │ │ (组内竞争) │ │ (答案是否正确？) │ └─────────────────┘ └─────────────────┘ └─────────────────┘ ↑ │ └──────────── 组内归一化优势 A_i ←────────────┘规则验证器（如数学答案的精确匹配、代码的执行结果）：
只输出0/1 或标量分（如部分正确给 0.5）
不建模答案的概率分布（不像 DPO 的 Ref 是完整生成模型）
因此不与 Actor 同分布，也不参与梯度更新
这打破了自我指涉：
Actor 不知道"为什么对"，只知道"这个比那个对得多"
验证器是外部客观标准，但不是概率基准
五、GRPO 的代价：你框架中的"粗糙容忍度"变得关键
GRPO 移除 Ref 后，面临你第 9 步提到的停机条件和成本收益问题：
问题 GRPO 的表现 奖励稀疏 数学/代码任务中，正确答案很少，组内可能全 0 或全 1，标准差为 0，无法学习 方差爆炸 组内样本少时，归一化优势噪声大，训练不稳定 模式崩溃 如果组内采样不够多样，容易收敛到局部最优 GRPO 的应对（体现你的"粗糙容忍度"）：
增大组大小 G：用计算换稳定性（DeepSeek-R1 中 G 可达 64 或更大）
引入温度参数：控制探索程度（对应你的"搜索方向调整"）
多轮迭代：每轮用 θold 作为短期锚点，但频繁更新（你的"嵌套循环"）
六、GRPO vs DPO：从"认知依赖"到"认知自主"
维度 DPO GRPO 参照系来源 外部：冻结的预训练模型 内部：组内统计 + 短期旧策略 人类/外部信号角色 定义"好"：直接提供偏好对 验证"好"：只给标量分，不定义分布 自我博弈 ❌ 无 ✅ 核心机制（组内采样竞争） 可扩展性 依赖昂贵的人类标注 可自动化（规则验证、轻量模型打分） 适用场景 通用偏好对齐（Helpful, Harmless） 可验证任务（数学、代码、逻辑推理） 稳定性来源 Ref 的 KL 约束 组内归一化 + PPO-clip 七、回到你的直觉：GRPO 验证了什么，修正了什么？
你的原始直觉：
"Actor 自己输出本来的理解，获得新知识后对比两个理解，Ref 是多余的"
GRPO 验证的部分：
✅ Ref 作为质量基准确实可以移除
✅ 自我参照、自我博弈是可行的学习机制
✅ 相对评价比绝对评价更灵活
GRPO 修正的部分：
❌ 不能是"Actor 的过去 vs 现在"（仍会有漂移），而是"现在的多个候选 vs 组内平均"
❌ 不能完全无外部信号，需要验证器提供客观标量（否则陷入纯相对主义的循环）
❌ Ref 作为分布约束（而非质量基准）仍有价值，GRPO 可选保留 KL 项
八、更高阶的视角：GRPO 是你九步循环的"内源学习"实现
你的框架：
5. 内源学习模式：基于 AlphaGo 模式的"自我博弈"
GRPO 正是这一原则的算法化实现：
AlphaGo 的自我博弈 GRPO 的组内竞争 ───────────────────────────────────────────────── 当前策略 vs 当前策略 当前策略采样 G 个答案 棋局结果作为奖励 验证器打分作为奖励 蒙特卡洛树搜索探索 组内归一化计算优势 策略网络 + 价值网络 策略网络（无显式价值网络）GRPO 比 AlphaGo 更激进的是：连价值网络都移除了，完全依赖组内统计来估计"期望收益"。
这对应你框架中的成本-收益权衡（第 9 步）：
训练价值网络成本高 → 移除
人类标注成本高 → 用规则验证替代
用组内采样的计算开销换取数据获取成本的降低
总结
你的问题 简短回答 Ref 是多余的吗？ 作为质量基准，是的（GRPO 已移除）；作为分布约束，可选保留 Actor 能自己对比吗？ 不能对比"过去的我"（漂移问题），但能对比"现在的我生成的多个候选"（GRPO 方案） 人类反馈是 0-1 吗？ DPO 中是成对偏好；GRPO 中可以是 0-1 标量，但通过组内统计转化为连续优势 必须同分布吗？ DPO 必须；GRPO 中验证器无需同分布（它是判别器而非生成模型） GRPO 的出现说明：在可验证任务中，你的"内源学习优先"直觉是正确的，但需要组内竞争和外部验证器的配合，才能避免自我指涉的悖论。这与你的九步循环中"外源学习优先，但无样本时启动内源"的逻辑形成有趣的对照——GRPO 是"内源为主，外源仅作裁判"的极端版本。