大模型强化学习算法概览
0. 算法概览与分类
| 算法 | 核心机制 | 主要优势 | On/Off-Policy |
|---|---|---|---|
| DPO | 偏好数据直接优化 | 无需RL循环，实现简单 | Off-Policy |
| PPO | 价值网络 + 绝对优势 + 截断 | 稳定性强，RL标准范式 | On-Policy |
| GRPO | 组内相对优势 | 无价值网络，计算高效 | On-Policy |
| DAPO | 解耦截断 + 动态采样 | 缓解熵崩溃，提升效率 | On-Policy |
| GFPO | 最短-k采样 | 鼓励简洁响应，减少长度膨胀 | On-Policy |
| GSPO | 序列级重要性比 | 稳定MoE训练，无路由回放 | On-Policy |