2025_NIPS_SATURN: SAT-based Reinforcement Learning to Unleash Language Model Reasoning

文章核心总结与创新点

主要内容

本文针对现有强化学习（RL）任务在释放大语言模型（LLMs）推理能力时存在的可扩展性不足、可验证性弱、难度不可控三大问题，提出了基于布尔可满足性问题（SAT）的RL框架SATURN。该框架利用SAT问题的特性，构建多阶段课程学习 pipeline，通过难度递增的SAT任务训练LLMs，同时发布了含2660个不同难度SAT问题的SATURN-2.6k数据集。实验表明，基于DeepSeek-R1-Distill-Qwen训练的SATURN-1.5B和SATURN-7B模型，在SAT任务上pass@3平均提升14.0和28.1，在数学和编程基准测试中平均提升4.9和1.8，且优于现有SOTA方法8.8%。

创新点

1. 任务设计创新：选用SAT问题作为RL训练任务，同时满足可扩展性（可程序化大规模生成）、可验证性（线性时间验证解的正确性）、难度可控性（通过变量数、子句数等参数精确调节）三大核心需求。
2. 课程学习框架：设计双循环学习机制（课程评估循环+LLM训练循环），基于模型性能动态调整SAT任务难度，实现从易到难的渐进式训练，保障训练稳定性。
3. 难度估算方法：提出适用于LLMs的SAT任务难度估算公式 (D(n, k, l)=log _{2}(k)+2 log _{2}(l)-n+\frac{k}{n})，精准捕捉问题难度与模型求解能力的关联。
4. 迁移能力强化：通过SAT任务训练的推