【RL】GRPO

在强化学习（特别是大语言模型对齐和推理训练领域）中，GRPO和Off-policy是两个非常核心但属于不同维度的概念。

拆解这两个概念及其背后的工作原理：

1. GRPO 是什么？ (Group Relative Policy Optimization)

群体相对策略优化（GRPO）是 DeepSeek 团队提出的一种高效的强化学习算法（也是训练出 DeepSeek-R1 强大推理能力的核心机制）。它主要是为了解决传统大模型强化学习（如 PPO 算法）中算力和显存消耗过大的痛点。

• 传统 PPO 的痛点：传统的强化学习（PPO）在训练大模型时，通常需要同时运行四个模型：策略模型（大模型本身）、参考模型、奖励模型，还有一个价值模型（Critic）。Critic 模型的作用是预估当前状态的“价值”，它通常和策略模型一样庞大，导致训练时显存消耗直接翻倍。
• GRPO 的核心创新——“砍掉” Critic 模型：GRPO 完全摒弃了昂贵的价值模型。对于同一个提示词（Prompt），大模型会根据当前的策略生成一组（比如GG