强化学习一直是个执着于游戏、机器人和控制回路的小众子领域，直到ChatGPT 出现之后它就成了夹在“聪明的”基础模型与“有用的”产品之间的那一层。到现在差不多已经五年过去，整套流程至少被重写过三次；而被奖励的对象变化的程度甚至比执行奖励的算法本身还要剧烈。
现在训练模型要回答的问题已经不是“要不要用 RL”，而是：哪一种 RL，基于什么信号，配多大的基础设施预算。
本文是对当前格局的一次梳理。会用一点篇幅讲历史，更多篇幅留给 PPO、DPO、GRPO 和 MARL——它们是什么、各自适合什么场景、实际中会在哪里坏掉，以及今天的开源技术栈大概长什么样。
60 秒历史
- 1989 年——Q-learning，基于价值的 RL 的基石。
- 1992 年——REINFORCE，策略梯度 RL 的基石。
- 2013–2015 年——DQN 在 Atari 上压倒人类，RL 与深度学习真正结合。
- 2016 年——AlphaGo 击败李世石。
- 2017 年——OpenAI 发表 PPO（Proximal Policy Optimization）。它在接下来差不多五年里成为默认的 RL 算法。
- 2017 年——AlphaZero。自我对弈，没有人类数据，世界级水平。
- 2022 年——InstructGPT。PPO 被改造来在人类偏好上微调语言模型。几个月后，ChatGPT 上线。
今天在 LLM 这一侧做的所有事情，都是 PPO + 一个奖励信号的后裔。接下来四节要讲的是“我们如何保留这个想法，同时把它昂贵的部分一块块剥掉”的故事。
https://avoid.overfit.cn/post/9b742a56285f431da584ec52f5288ee2