阿里：利用更新方向提升大模型推理

📖标题：On the Direction of RLVR Updates for LLM Reasoning: Identification and Exploitation
🌐来源：arXiv, 2603.22117v1

🛎️文章简介
🔸研究问题：现有研究多关注 RLVR 引起变化的幅度，如何从“更新方向”的视角更精准地识别并利用大模型推理能力提升的关键机制？
🔸主要贡献：论文提出带符号的对数概率差（∆logp）作为核心指标，揭示了 RLVR 更新的稀疏方向性，并据此设计了测试时外推和训练时重加权两种提升推理性能的新方法。

📝重点思路
🔸提出使用基座模型与 RLVR 模型之间的 token 级带符号对数概率差（∆logp）来量化分布变化的方向，以此替代仅衡量变化大小的熵或 KL 散度。
🔸通过统计分析和 Token 替换干预实验，验证了∆logp 能比幅度类指标更高效地定位少量但对推理至关重要的 Token 更新。
🔸从梯度角度解释稀疏性根源，发现 RLVR 的策略梯度天然集中在低概率 Token 上，而这些 Token 恰好对应最终模型中高∆logp 的位置。
🔸设计测试时选择性外推方法，在关键位置沿∆logp 方向进一步放大 RLVR 的策略分布，无需额外训练即可超越原模型性能。
🔸提出训练时概率感知优势重加权策略，通过增加低概率 Token 的权重，引导模型更专注于学习高∆logp 指示的关键推理步骤。

🔎分析总结
🔸幅度类指标（如熵、KL 散度）在基座和 RLVR 模型生成的 Token 分布上几乎一致，无法区分两者，而∆logp 呈现出清晰的双峰分布，有效捕捉了方向性偏移。
🔸在 Token 替换实验中，仅需替换约 10% 由∆logp 选定的 Token，基座模型即可恢复至 RLVR 模型的性能水平，其效率显著高于基于熵或散度的选择方法。
🔸梯度分析表明，RLVR 训练中绝大部分梯度范数来自低概率 Token，排除这些 Token 会导致推理性能急剧下降，证实了它们是推理提升的核心来源。
🔸测试时外推方法在多个数学基准测试中均取得了优于原始 RLVR 模型的结果，证明沿学习到的方向继续 extrapolate 能带来额外的推理增益。
🔸训练时重加权方法在不同模型规模和数据集上均稳定提升了推理准确率及探索能力（Pass@k），表现优于现有的其他重加权策略。

💡个人观点
论文论证了更新“方向”对于理解 RLVR 机制的关键作用解释了为何 RLVR 更新是稀疏的（集中于低概率 Token）。