VESPO: Variational Sequence-Level Soft Policy Optimization for Stable Off-Policy LLM Training

VESPO 论文核心总结与关键部分翻译

一、文章主要内容

该论文聚焦大型语言模型（LLMs）强化学习（RL）训练中的稳定性问题，针对离线训练（off-policy）场景下的核心挑战提出解决方案。

核心问题

LLM的RL训练面临三大稳定性威胁：

1. 策略陈旧（Policy Staleness）：批量数据拆分导致后续迷你批次使用过时策略样本；
2. 异步训练影响：训练与采样过程解耦放大分布偏移；
3. 训练-推理不匹配：不同引擎实现差异（尤其MoE模型的路由决策）引发偏差。
   现有方法（如token级裁剪、序列长度归一化）缺乏统一理论基础，存在方差过高或偏差引入等问题。

核心方案：VESPO

提出变分序列级软策略优化（Variational Sequence-level Soft Policy Optimization, VESPO），通过变分框架将方差 reduction 融入提议分布设计，直接对序列级重要性权重进行重塑，无需长度归一化，实现无偏且稳定的训练。

实验验证

在数学推理基准（AIME24/25、AMC23、MATH500）上验证，覆盖稠密模型（Llama-3.2-3B、Qwen3-8B）和MoE模型（Qwen3-30B-A3B），结果