GRPO与URPO的关系
文章目录
- GRPO 原理
- URPO 原理（基于 GRPO 扩展）
https://arxiv.org/pdf/2507.17515
GRPO 是组相对策略优化，主打轻量、组内相对奖励、适合推理；URPO 是统一奖励与策略优化，在 GRPO 基础上实现生成与评判合一、自我奖励、数据统一，是 GRPO 的一体化升级框架。
GRPO 原理
组采样：同一提示生成 N 个候选回答
组内相对奖励：用排序 / 相对分替代绝对打分，不依赖独立奖励模型
优势估计：组内归一化奖励，无价值网络（Critic）
策略更新：KL 约束的组相对损失，显存降低约 50%
URPO 原理（基于 GRPO 扩展）
数据统一：偏好数据、可验证推理、开放指令统一为 GRPO 兼容格式
自我奖励循环：模型生成候选 → 自身 “裁判” 打分 → 作为 GRPO 奖励信号
协同进化：生成能力与评判能力同步提升，突破静态奖励模型瓶颈
单模型单阶段：无需单独训奖励模型，流程极简