Composition-RL: Compose Your Verifiable Prompts for Reinforcement Learning of Large Language Models

Composition-RL 论文总结与核心部分翻译

一、文章主要内容

该论文聚焦于带可验证奖励的强化学习（RLVR）中训练提示的高效利用问题。RLVR的成功依赖大规模可验证提示，但这类提示存在大量无信息样本（如通过率为0或1的提示），且扩展成本高昂。现有研究多关注利用率为0的“难提示”，却忽视了训练过程中占比逐渐增加的通过率为1的“易提示”，导致有效训练数据规模缩减。

为此，论文提出Composition-RL方法，通过自动组合多个现有提示生成新的可验证问题，将“易提示”转化为更具挑战性的训练样本，用于LLM的强化学习训练。核心流程基于顺序提示组合（SPC）：先从两个提示的真值答案中提取数值并定义变量，再修改提示中的数值为变量，最后通过自然语言描述变量关系连接两个提示，形成新提示；该过程可递归扩展至K个提示的组合（组合深度为K）。

实验验证方面，论文在4B到30B不同规模的Qwen模型上进行了大量实验，涵盖数学推理（AIME24/25、Beyond AIME等）和多任务推理（GPQA-Diamond、MMLU-Pro等）基准。结果表明，Composition-RL在域内和域外任务中均优于基于原始提示的RL训练，且组合深度递增的课程学习变体可进一步提升性能；跨领域实验（组合物理和数学提示）显示其在跨域RL训练中也具备显著优势。

二、核心创新点

1. 聚焦“易提示”利用缺口：首次针对RLVR中通过率为1的“易提示”设计高效利用方案，填补了