Critic网络在强化学习中的价值评估

本文深入剖析PPO算法中Critic网络的核心原理，揭示其如何通过价值函数、TD误差与GAE机制，将稀疏的最终奖励转化为指导每一步生成的稠密信号。

1 Critic的核心使命：解决信用分配难题

在强化学习（RL）尤其是基于人类反馈的强化学习（RLHF）中，Critic（评论家）网络扮演着至关重要的角色。它不仅仅是一个辅助组件，更是整个训练系统的裁判与导航员。

1.1 稀疏奖励的困境与盲目的Actor

✅稀疏奖励问题在大型语言模型（LLM）的生成任务中，环境反馈通常是极其稀疏的。当Actor（策略网络）生成一段回答时，它必须完整地写完整个句子或段落（例如生成了100个Token），奖励模型（Reward Model, RM）才会根据最终的生成质量给出一个标量分数（例如4.7分）。

这就带来了一个巨大的难题:信用分配：

• 黑盒状态：在生成第1个Token到第99个Token的过程中，模型是完全盲目的，它不知道自己当前写得好不好。

• 归因困难：最终得到了4.7分的高分，是因为第3个词用得好？还是第50个词逻辑通顺？或者仅仅是因为结尾写得漂亮？Actor无法区分哪些动作是关键的贡献者。

✅Critic的介入：从稀疏到稠密Critic的出现正是为了解决这一痛点。它是一个独立的神经网络，其任务是评估状态的价值。

• 稠密信号：Critic将原本只在结尾出现一次的终端奖励，转化为了一个在每一步都存在的价值指导信号。

• 实时反馈：这就好比一位经验丰富的棋手（Critic），不需要等到棋局结束（生成结束），就能在中间某个局面（生成某个Token时）判断出当前的优劣势。

• 预判能力：Critic在LLM生成过程中，能够实时判断：写到这句话时，这篇回答看起来有多大希望能得高分？

1.2 动态基线与优势判断

✅价值函数作为动态基线Critic输出的标量称为状态价值，它代表了从当前状态出发，如果后续继续遵循当前策略，预期能获得的累积奖励。这个价值不仅仅是一个预测，它还充当了动态基线。

在计算策略更新的梯度时，并不直接使用绝对奖励，而是使用**优势（Advantage）**：

✅更稳定的学习信号通过引入Critic作为基线，模型的学习目标变得更加清晰：

• 超越预期：模型不再仅仅关心我得了多少分，而是关心我这一步的决策是否超出了当前状态下的平均预期。<