2025_NIPS_SWE-RL: Advancing LLM Reasoning via Reinforcement Learning on Open Software Evolution
文章核心总结与翻译
一、主要内容
本文提出了SWE-RL，这是首个基于强化学习（RL）的方法，专门用于提升大型语言模型（LLMs）在软件工程（SE）任务中的推理能力。该方法利用开源软件演化数据（如GitHub的拉取请求PRs）和轻量级规则化奖励，在Llama 3.3-70B-Instruct基础上训练出模型Llama3-SWE-RL-70B。
核心成果
- 任务性能：在SWE-bench Verified（含500个人工验证的真实GitHub问题）上实现41.0%的解决率，创下中等规模模型（<100B参数）的最佳记录，性能比肩GPT-4o等主流专有模型。
- 泛化能力：仅通过软件工程任务训练，却在5个跨领域任务中表现提升，包括函数编码、库使用、代码推理、数学运算和通用语言理解，而监督微调（SFT）基线模型在这些任务中平均性能下降。
- 技术细节：
- 数据集：从GitHub筛选27.3万高质量PRs构建RL种子数据集，包含问题描述、代码上下文和标准答案补丁；
- 奖励机制：基于预测补丁与标准答案的序列相似度（0-1分），格式错误则扣1分；
- 优化算法：采用Group Relative Policy Optimization（GRPO）进行策略优化；
- 推理框架：开发Agentless Mini简化流水线