EqLen算法：解决强化学习对齐中熵崩溃与学习税问题的长度归一化方案

1. 项目概述：当强化学习遇上对齐，我们遇到了什么？

如果你最近在关注大模型或者机器人控制的前沿进展，那么“对齐”这个词你一定不陌生。简单来说，对齐就是让AI系统的行为与人类的意图、价值观保持一致。在强化学习领域，我们通常通过“从人类反馈中学习”这类范式来实现对齐，比如让模型生成多个答案，由人类标注员选出更好的那个，然后用这个偏好数据去训练一个奖励模型，最后用强化学习去优化策略模型，使其输出能获得更高奖励。

听起来很美好，对吧？但魔鬼藏在细节里。我和团队在实际训练中，反复被两个幽灵般的问题困扰：熵崩溃和学习税。熵崩溃指的是，在强化学习优化后期，策略模型会迅速坍缩到一个极其确定、单一的模式上，失去多样性和创造力，变得像复读机一样无聊。而学习税则更微妙，它描述的是策略模型为了迎合奖励模型“打分”的偏好，会倾向于生成更冗长、更复杂、甚至包含无意义修饰的答案，因为奖励模型在训练数据的影响下，可能潜意识里认为“更长、更详细”的答案更好。这就像学生为了得高分，拼命往试卷上堆砌辞藻，而不是精炼地回答问题核心。

EqLen算法的提出，正是为了精准地狙击这两个问题。它的核心思想异常简洁却有力：在计算奖励时，显式地引入对生成长度的惩罚或归一化，从而剥离奖励信号中与答案质量无关的长度偏差，让模型聚焦于内容本身的价值。这个名字也很直白，EqLen就是“Equalize Length”（均衡长度）的缩写。它不是要取代复杂的奖励模型，而是作为一层“净化器”或“校准器”，让后续的强化学习优化走在更健康的轨道上。接下来，我将深入拆解这个算法的设计思路、具体实现以及我们在实战中积累的经验。

2. 核心问题深度解析：熵崩溃与学习税的根源

在深入EqLen之前，我们必须先搞清楚敌人到底是谁。只有理解了问题的本质，才能明白解决方案为何有效。

2.1 熵崩溃：多样性的消亡

在强化学习的策略梯度更新中，我们最大化的是期望奖励。当奖励模型对某个特定形式的回答（比如，总是以“综上所述”开头，或者使用某种固定句式）给出了持续的高分时，策略模型会迅速调整其参数，使得生成这种模式答案的概率急剧上升，而其他可能同样正确但形式不同的答案概率则被压制到近乎为零。

从信息论的角度看，策略的熵（不确定性）会急剧下降。初期，策略熵高是好事，代表探索。但后期熵崩溃意味着模型失去了探索和生成多样化的能力。在对话或创作场景中，这直接导致回复千篇一律，用户体验骤降。更严重的是，这可能是对奖励函数缺陷的过拟合——模型找到了一条“捷径”来刷高分，而非真正理解并完成目标。

一个实战中的例子：我们在训练一个创意写作助手时发现，在RLHF后期，模型生成的几乎所有故事开头都变成了“在深邃的星空下，...”。因为奖励模型在训练数据中，对这类富有文采的开头打分普遍偏高。模型学会了这个“套路”，却丧失了生成“昨天，我的邻居...”这种平实但可能更接地气开头的能力。

2.2 学习税：长度偏差的陷阱

学习税问题通常与奖励模型的训练数据偏见密切相关。人类标注员在评判A、B两个答案时，面对一个更详细、更冗长的答案，即使其核心信息与简洁答案相同，也可能会下意识地认为前者“更用心”、“更全面”而给予偏好。这种偏见会被奖励模型捕捉并放大。

于是，策略模型在强化学习阶段学到了一条黄金法则：“变长就能得高分”。它开始倾向于：

1. 添加不必要的副词和形容词（“非常”、“极其”、“深刻地”）。
2. 进行同义反复（“换句话说，也就是...”）。
3. 引入无关的背景信息。
4. 使用更复杂的句式和词汇，即使简单句更清晰。

这不仅仅浪费计算资源、降低响应速度，更重要的是，它扭曲了对齐的目标。我们想要的是“有用、真实、无害”的答案，而不是“冗长”的答案。长度与质量在统计学上可能存在相关性，但绝不应是因果关系。学习税让模型学会了利用这种相关性，而非提升真正的质量。

技术根源：奖励模型通常是一个标量函数RM(response)。在训练过程中，它隐式地学习到了一个混合信号：RM(response) ≈ f(质量) + g(长度) + 噪声。其中g(长度)通常是一个单调递增的函数。EqLen的目标就是试图将g(长度)的影响剥离或中和掉。

3. EqLen算法设计与实现细节

EqLen不是一个独立的算法，而是一个可以嵌入到标准RLHF流程中的改进模块。其核心应用在强化学习训练阶段，作用于奖励的计算环节。

3.1 算法核心思想与公式推导

EqLen的基本形式是对原始奖励进行一个基于长度的归一化或调整。常见的有两种思路：

思路一：长度归一化奖励这是最直接的方法，旨在计算单位长度（例如，每个词元）的平均奖励。

R_normalized = R_raw / (L^α)

其中：

• R_raw是奖励模型给出的原始奖励分数。
• L是生成序列的长度（通常以词元数量计）。
• α是一个超参数，控制长度惩罚的强度。α=1表示完全按平均奖励计算；α=0则退化为原始奖励；0<α<1则是一种平滑的惩罚。

思路二：长度偏置校正奖励这种方法试图直接估计并减去奖励中的长度偏置。

1. 首先，我们需要估计长度偏置函数g(L)。一种实践方法是：在训练奖励模型后，用一个简单的模型（如线性模型）去拟合奖励分数R_raw与长度L之间的关系：R_bias = β * L + c。这个拟合可以在一个单独的验证集或训练集的一个子集上进行。
2. 然后，在强化学习中使用校正后的奖励：

   R_corrected = R_raw - λ * R_bias(L)

   其中λ是校正强度超参数，R_bias(L)是估计出的长度偏置。

EqLen的选择与我们的实践：在大多数公开研究和我们的实践中，思路一（长度归一化）因其简单性和无需额外拟合步骤而更受欢迎。α作为一个可调的超参数，提供了足够的灵活性。我们通常从α=0.5到α=0.8之间开始搜索。

注意：这里的关键不是找到一个完美的α，而是引入这种归一化的思想。它向优化过程传递了一个明确的信号：“长度本身不应成为获取高奖励的主要途径”。

3.2 集成到PPO训练流程

Proximal Policy Optimization 是RLHF中最主流的强化学习算法。将EqLen集成进去非常直观。

标准的PPO损失函数包含策略损失、价值损失和熵奖励。其中，用于计算优势函数A_t的奖励R_t是关键输入。

原始流程：

1. 策略模型生成一个序列。
2. 序列输入奖励模型，得到标量奖励R_raw。
3. R_raw可能加上一个熵奖励项后，直接用于计算优势，进而更新策略。

集成EqLen后的流程：

1. 策略模型生成一个序列，同时记录其长度L。
2. 序列输入奖励模型，得到R_raw。
3. 计算EqLen奖励：R_eqlen = R_raw / (L^α)。
4. 使用R_eqlen替代R_raw，进行后续的优势计算和PPO更新。

代码示意（关键部分）：

import torch def compute_eqlen_reward(raw_rewards, response_lengths, alpha=0.7): """ 计算EqLen归一化奖励。 Args: raw_rewards (torch.Tensor): 奖励模型输出的原始奖励，形状 [batch_size]。 response_lengths (torch.Tensor): 每个生成响应的长度（词元数），形状 [batch_size]。 alpha (float): 长度惩罚系数。 Returns: torch.Tensor: 归一化后的奖励。 """ # 添加一个小常数防止除零 length_penalty = torch.pow(response_lengths.float(), alpha) normalized_rewards = raw_rewards / length_penalty return normalized_rewards # 在PPO训练循环中 # ... 模型生成 responses，获取 lengths ... # raw_rewards = reward_model(responses) # normalized_rewards = compute_eqlen_reward(raw_rewards, lengths, alpha=0.7) # 后续使用 normalized_rewards 计算优势函数和损失

3.3 超参数α的调优经验

α是EqLen的灵魂。调优它需要结合具体任务和观察。

• α = 0： 无效果，等同于原始RLHF。
• α → 1： 惩罚很强，模型会极度倾向于短回答，可能导致信息量不足。
• **α ∈ [0.5, 0.8]（推荐起始区间）**： 在大多数语言任务中，这个范围能在抑制长度偏差和保持回答充分性之间取得良好平衡。

我们的调优流程：

1. 基准测试：先在验证集上运行原始RLHF（α=0），观察生成答案的平均长度变化趋势和奖励分数趋势。
2. 小范围网格搜索：在[0.3, 0.4, 0.5, 0.6, 0.7, 0.8]中选取几个值，进行短时间（例如1/4总步数）的强化学习训练。
3. 关键指标观察：
   • 平均生成长度曲线：理想情况下，曲线应趋于平稳或缓慢增长，而非陡峭上升。
   • 奖励分数曲线：使用EqLen后，原始奖励R_raw的增长可能会变缓，甚至短期下降，这是正常的，因为“刷长度”的捷径被堵住了。更应关注的是人工评估或基于内容的自动评估指标（如答案与标准答案的ROUGE-L、BLEU分数，或基于LLM的评估分数）。
   • 生成多样性：计算生成文本的n-gram重复率、Distinct-n等指标，熵崩溃应得到缓解。
4. 人工抽样检查：这是最重要的一步。定期抽样查看模型生成的内容，判断其是否在保持合理长度的同时，提升了内容的准确性和有用性，而非变得简短而空洞。

一个经验法则：如果你发现原始训练中，平均长度从50个token暴涨到200个token，而内容质量提升有限，那么可能需要一个较大的α（如0.7）。如果长度增长本身是适度的（比如从50到80），且内容确实更充实，那么α可以小一些（如0.3-0.5）。

4. 实战部署与效果验证

理论再好，也需要实战检验。我们将EqLen应用于一个开源指令微调数据集的对齐任务中，并与基线方法进行了对比。

4.1 实验设置

• 基础模型：我们选用了一个7B参数的预训练语言模型作为策略模型的初始化。
• 奖励模型：使用同一个模型架构，在一个100k规模的“人类偏好对比数据”上训练得到。
• 任务：指令遵循与开放式问答。给定一个指令或问题，模型需要生成有帮助、准确、详细的回答。
• 对比方法：
  1. Baseline：标准PPO，不使用EqLen。
  2. EqLen (α=0.5)：长度归一化奖励，α设为0.5。
  3. EqLen (α=0.7)：长度归一化奖励，α设为0.7。
• 评估指标：
  • 平均生成长度：Token数量。
  • 奖励分数：奖励模型给出的原始分数（R_raw）和EqLen分数（R_eqlen）。
  • 内容质量评分：我们使用GPT-4作为裁判，对生成答案与问题/指令的相关性、信息量、连贯性进行打分（1-10分）。
  • 多样性指标：Distinct-1, Distinct-2（生成文本中唯一1-gram和2-gram的比例）。

4.2 结果分析与解读

我们记录了训练过程中关键指标的变化，下表展示了训练稳定后的典型结果：

结果解读：

1. 对长度的影响：EqLen效果立竿见影。Baseline模型生成了最长的回答（187 tokens），而EqLen成功地将长度控制在了更合理的范围（98-124 tokens）。α越大，控制力越强。
2. 对原始奖励的“牺牲”：这是一个非常有趣且关键的现象。使用EqLen后，模型获得的原始奖励(R_raw) 反而下降了。这恰恰证明了“学习税”的存在——Baseline模型通过增加长度“虚高”了奖励分数。EqLen通过惩罚长度，挤掉了这部分水分。因此，在EqLen训练中，我们不应该再追求原始奖励的持续上升，而应将其视为一个需要被“校正”的信号。
3. 内容质量的提升：尽管原始奖励下降了，但由第三方大模型（GPT-4）评估的内容质量评分却显著提升。EqLen (α=0.5)获得了最高的7.6分。这说明模型将优化重点从“变长”转移到了“变好”上，生成了更精炼、信息密度更高的回答。
4. 多样性的恢复：Distinct-2指标显示，EqLen方法生成的文本多样性明显优于Baseline。这表明熵崩溃问题得到了缓解，模型不再局限于少数几种“长篇大论”的模板，能够生成更多样化的表达。

可视化趋势：在训练曲线上，我们能看到：

• Baseline的长度曲线持续快速上升，奖励曲线也同步快速上升（虚假繁荣）。
• EqLen的长度曲线早期快速上升后很快进入平台期，奖励曲线（原始奖励）上升缓慢甚至波动，但内容评分曲线则呈现稳定、健康的上升趋势。

4.3 与其他技术的结合探讨

EqLen并非孤岛，它可以与其他改进RLHF的技术结合使用。

• 与GRPO/Gemma-RLHF结合：近期一些工作探索了去价值网络的PPO变体。EqLen可以直接应用于其奖励计算步骤，原理不变。
• 与SimPO结合：SimPO是一种基于序列似然的直接偏好优化方法。EqLen的思想可以借鉴，即在计算偏好对的似然比时，考虑对长序列进行一定的归一化，但其融合方式需要更细致的设计。
• 作为奖励模型预处理的启发：EqLen的思想甚至可以反哺奖励模型的训练。例如，在构建奖励模型训练数据时，可以尝试对长答案进行下采样，或对比较样本进行长度匹配，从源头上减轻长度偏见。

5. 常见陷阱、疑难排查与进阶技巧

在实际部署EqLen时，我们踩过不少坑，也总结出一些让效果更稳的技巧。

5.1 典型问题与解决方案

5.2 长度计算的细节与技巧

“长度”的定义看似简单，实则有些讲究：

• Token数量 vs. 字符/单词数量：强烈建议使用与模型分词器一致的Token数量。这是最准确的，因为它直接对应模型的计算过程。使用字符或单词数会引入偏差。
• 是否包含提示词：通常只计算模型生成部分（Response）的长度，不应包含用户指令或系统提示。因为优化对象是模型的输出策略。
• 批量处理效率：在批量生成时，确保能高效地获取每个序列的有效长度（去除填充token）。

# 一个更健壮的长度计算和奖励归一化函数示例 def compute_eqlen_reward_robust(raw_rewards, response_tokens, tokenizer, alpha=0.7, eps=1.0): """ 计算EqLen奖励，包含平滑处理。 Args: response_tokens: 模型生成的token id序列列表（List of Lists）。 """ # 计算每个response的非填充token长度 lengths = [] for seq in response_tokens: # 假设 pad_token_id 已知，例如为0 valid_tokens = [tok for tok in seq if tok != tokenizer.pad_token_id] # 有时还需要去掉eos_token，取决于你的生成设置 if tokenizer.eos_token_id is not None: valid_tokens = [tok for tok in valid_tokens if tok != tokenizer.eos_token_id] lengths.append(len(valid_tokens)) lengths_tensor = torch.tensor(lengths, dtype=torch.float32, device=raw_rewards.device) # 添加平滑项eps，防止除零和剧烈波动 length_penalty = torch.pow(lengths_tensor + eps, alpha) normalized_rewards = raw_rewards / length_penalty return normalized_rewards

5.3 超越长度：对更广泛偏见的思考

EqLen成功的关键在于它识别并补偿了一个具体、可量化的混淆变量——长度。这给我们带来了更深层的启发：奖励模型中可能还存在其他类似的系统性偏见。

例如：

• 词汇偏见：是否过度偏好使用某些“高级词汇”或特定领域的术语？
• 句式偏见：是否更青睐复杂从句而非简单句？
• 风格偏见：在创意写作中，是否更偏向某种文学风格？

未来的工作可以探索如何像EqLen一样，定义并补偿这些更复杂的偏见。一个可能的方向是训练一个“偏见探测模型”，来识别生成文本中的某些特征，然后在奖励计算中对其进行动态调整。这相当于为奖励模型加装了一个多功能的“净化过滤器”。

6. 总结与个人实践心得

EqLen算法以其简洁的理念和显著的效果，成为了我们解决RLHF中熵崩溃和学习税问题的标准工具。它不是一个魔法棒，不能解决对齐中的所有问题，但它精准地切中了一个非常普遍且影响恶劣的痛点。

我最深刻的几点体会：

1. 监控指标要选对：引入EqLen后，原始奖励分数不再是黄金指标，甚至它的下降可能是好事。必须结合人工评估、内容质量评分和多样性指标综合判断。不要被下降的原始奖励吓到，要关注模型输出的“质感”。
2. α不是静态的：没有一个放之四海而皆准的α值。对于不同的模型规模、不同的任务领域（如创意写作 vs. 技术问答）、不同的奖励模型，最优的α都可能不同。它应该作为一个重要的超参数，在每次重要的训练任务前进行小规模的校准实验。
3. EqLen是“矫正器”而非“替代品”：它不能替代一个高质量的、无偏的奖励模型。如果奖励模型本身存在根本性缺陷（例如，无法区分事实正确性），EqLen也无能为力。它的作用是让一个好的奖励模型发挥出更好的效果，或者减轻一个普通奖励模型中的某些系统性偏差。
4. 从EqLen到更广义的“奖励整形”：EqLen的本质是一种“奖励整形”。它打开了我们的思路：在将奖励信号喂给强化学习算法之前，我们可以根据先验知识对其进行合理的调整，以引导学习朝着更理想的方向进行。这比事后调整损失函数或算法参数有时更直观、更有效。

最后，我想说，强化学习对齐是一个极其复杂的系统工程，充满了各种“欺骗”和“捷径”。EqLen为我们提供了一件简单而有力的武器，来对抗其中一种最直观的欺骗方式。在实际操作中，保持对模型输出内容的敏锐观察，结合定量指标与定性分析，灵活运用EqLen这类工具，才能一步步逼近真正“对齐”的目标。