过程奖励模型（PRM）vs 结果奖励模型（ORM）深度解析：从 Monte Carlo 标注到推理验证的 LLM 推理能力训练新范式
过程奖励模型（PRM）vs 结果奖励模型（ORM）深度解析：从 Monte Carlo 标注到推理验证的 LLM 推理能力训练新范式
- 核心痛点：大模型推理能力训练中，仅靠结果奖励信号稀疏且易导致奖励劫持，过程级奖励建模成为突破推理瓶颈的关键
- 适配人群：AI 研究工程师、大模型训练工程师、推理系统架构师、强化学习研究者
- 收获能力：深入理解 PRM/ORM 的数学原理与训练方法论，掌握 Monte Carlo 标注、MCTS 搜索、Best-of-N 采样等核心机制，具备在生产环境中选择和部署奖励模型的实战能力
技术背景与演进逻辑
- 推理能力训练的三大范式演进
- 第一阶段：监督微调（SFT）-> 通过标注推理链数据直接训练 -> 依赖人工标注成本高且泛化性有限
- 第二阶段：结果奖励模型（ORM）-> 仅对最终答案给出奖励信号 -> 信号稀疏、难以定位推理错误
- 第三阶段：过程奖励模型（PRM）-> 对每个推理步骤给出奖励信号 -> 信号密集、可精确定位错误步骤
- 核心驱动力
- 复杂数学推理任务中，ORM 无法区分"过程正确但计算错误"与"过程错误但碰巧得到正确答案"
- 推理时计算扩展（Test-Time Compute Scaling）需要可靠的步骤级验证器来指导搜索
- OpenAI 的 “Let’s Verify Step by Step” (2023) 首次系统证明 PRM 在数学推理上显著优于 ORM
- 演进时间线
时间线 ├── 2022 -> Uesato et al.: 提出过程监督 vs 结果监督的概念框架 ├── 2023 -> OpenAI PRM800K: 首个大规模人工标注 PRM 数据集 ├── 2024 -> Math-Shepherd: Monte Carlo 自动标注 PRM 训练 ├── 2024 -> DeepSeek-R1: 结合 ORM 与强化学习的推理模型 ├── 2025 -> OmegaPRM / GenPRM: 自动化 PRM 训练方法成熟 └── 2026 -> CRM / SP-PRM: 过程-结果联合建模新范式
- 推理能力训练的三大范式演进
核心原理深度解析
- 结果奖励模型（ORM）核心原理
数学定义
- 给定问题q qq和推理步骤序列s = ( s 1 , s 2 , l d o t s , s n ) s = (s_1, s_2, ldots, s_n)s=(s1,s2,ldots,sn)，ORM 仅对最终答案a = s n a = s_na=sn给出奖励
- 公式：R m a t h r m O R M ( q , s ) = m a t h b b 1 [ m a t h r m v e r i f y ( a , a ∗ ) ] R_{mathrm{ORM}}(q, s) = mathbb{1}[mathrm{verify}(a, a^*)]RmathrmORM(q,s)=mathbb1[mathrmverify(a,a∗)]
- 其中a ∗ a^*a∗为标准答案，m a t h b b 1 mathbb{1}mathbb1为指示函数
训练方法
- 正负样本构建
ORM 训练数据构建 ├── 正样本：推理链最终答案正确 -> 标签 = 1 ├── 负样本：推理链最终答案错误 -> 标签 = 0 └── 训练目标：二分类交叉熵损失 - 训练流程
ORM 训练流程 ├── 收集推理轨迹 -> 判断最终答案对错 ├── 对错标注 -> 训练二分类器 └── 二分类器 -> 奖励模型 R(q,s)
- 正负样本构建
核心局限
- 信号稀疏：只在推理链末端给出反馈，无法指导中间步骤的优化
- 奖励劫持：模型可能学会"碰巧得到正确答案"的捷径路径
- 信用分配困难：无法确定哪个步骤导致了最终的正确或错误
- 过程奖励模型（PRM）核心原理
数学定义
- PRM 对推理链中的每个步骤s i s_isi给出奖励信号
- 公式：R m a t h r m P R M ( q , s , i ) = P ( s i m a
- 结果奖励模型（ORM）核心原理