Agentic Proposing: Enhancing Large Language Model Reasoning via Compositional Skill Synthesis

一、研究问题与动机

核心挑战：大型语言模型（LLM）的复杂推理能力高度依赖于高质量、高难度且可验证的训练数据。然而，传统数据获取途径存在根本性瓶颈：

• 人工标注成本高昂、难以规模化；

• 现有合成方法面临两难困境：保证结构有效性会限制问题复杂度，追求高难度又易导致逻辑不一致或问题不可解；

• 强化学习（RL）虽能有效提升推理能力，但其效果高度依赖可验证的环境反馈，即需要大量高质量训练信号。

核心洞察：论文认为，推理性能的瓶颈不在于模型参数规模，而在于高质量训练信号的密度。少量高精度的合成数据可有效替代大规模低质量数据集。

二、核心方法：Agentic Proposing 框架

论文提出Agentic Proposing——一个将问题合成建模为目标驱动的序贯决策过程的自主框架。其核心理念是：将复杂推理分解为可组合的原子技能，由专用代理通过动态选择与编排这些技能来合成逻辑严谨、难度可控的问题。

2.1 三大核心创新

2.2 三阶段训练流程

1. 技能获取（Stage 1）：从大规模语料库中利用教师模型提取、过滤并形式化原子技能，构建自主技能库 Kself，支持动态剪枝机制以移除不适配技能。

2. 代理式监督微调（Stage 2）：通过行为克隆模仿专家轨迹（含内部反思、工具调用等复杂行为），初始化代理策略 πref。

3. 代理式强化学习（Stage 3）：采用MGPO算法进一步优化策略，引入基于课程的技能分布（动态聚焦弱项技能）和分层奖励函数（区分逻辑有效性与难度），使代理合成高精度、高难度问题。

三、关键技术细节

3.1 问题形式化

• 将问题合成建模为部分可观测马尔可夫决策过程（POMDP），因为问题的逻辑可解性是潜在状态，需代理通过工具和内省反思主动探测。

• 动作空间分为三类：认知动作（内部反思）、交互工具（代码执行、技能剪枝）、终止提交（输出最终问题）。

3.2 MGPO 算法核心

• 多粒度优势估计：融合轨迹级终端奖励和阶段级过程奖励，解决长序列稀疏奖励问题。

• 零和加权性质：通过构造中心化优势与隐式奖励之差，消除难以计算的配分函数。

• 非对称门控机制：使用双曲正割门对正负权重差异化衰减，提升训练稳定性。

四、实验设置

• 基准模型：基于 Qwen3-4B/30B 作为下游求解器，Agentic-Proposer-4B 作为专用提出代理。

• 评估基准：涵盖三大领域——竞赛数学（AIME24/25、HMMT、AMO-Bench）、算法编码（LiveCodeBench v5/v6）、科学推理（MMLU-Redux/Pro、GPQA、SuperGPQA、OlympicArena）。

• 对比基线：包括 MetaMath、WizardMath、PromptCoT、NuminaMath、MathSmith 等合成方法，OpenR1、DeepMath、Polaris 等人工策划数据，R-Zero、Socratic-Zero 等自我对弈方法，以及 GPT-5.2、Claude-4.5 等前沿模型生成的数据。

• 严格公平对比：所有方法均在10,000–11,000 条轨迹的固定预算下比较。

五、主要实验结果

5.1 竞赛数学（4B 求解器）

• Agentic Proposing 取得38.3%总体平均准确率，相比零样本基线（34.2%）提升+4.1 分，显著优于所有基线。

• 在 AIME 2025 上提升+4.5 分，HMMT 上提升+5.5 分。

• 许多基线（如 MetaMath、OpenR1）反而出现性能下降，凸显传统方法的局限性。

5.2 模型规模扩展（30B 求解器，11,000 混合轨迹）

• 在AIME 2025上达到91.6%的 SOTA 水平，超越 Grok-4.1-Fast、Claude-4.5-Opus，与 GPT-5、Gemini-3-Pro 相当。

• 在 LiveCodeBench v5/v6 上分别提升+5.3和+5.2 分，展现跨领域泛化能力。

• 以仅30B参数超越 DeepSeek-V3.1、Mistral-3 等20 倍以上参数规模的模型，验证了高质量信号对参数效率的关键作用。

5.3 跨领域科学推理（4B 求解器）

• 科学/通用推理基准上总体提升+5.3 分。

• 最具突破性：SuperGPQA +7.3 分，GPQA +6.3 分，OlympicArena +4.4 分，证明代理合成促进深度认知能力，避免领域过拟合。

六、消融分析与关键发现

6.1 Proposer 专业化 vs. 通用模型提示

• 即使对 GPT-5.2 配备技能库和代理工作流，其性能（36.4%）仍低于我们的专用 4B Proposer（38.3%）。

• 说明领域特定的强化学习能使小型专用模型在推理合成任务上超越前沿通用模型。

6.2 代理流程组件的协同效应

• 单一工具使用或内部反思分别提升约 2 分，但完整迭代循环（草稿-检查-优化）实现+6.8 分的累积增益，证实各组件间的协同作用不可或缺。

6.3 MGPO 的有效性

• 标准 GRPO（仅轨迹级奖励）仅达 31.8%，MGPO 完整版本达38.3%，提升+6.5 分，证明阶段级优势估计对长序列信用分配的关键价值。

七、研究贡献与意义

1. 方法论创新：首次将问题合成从静态文本生成重构为动态组合逻辑工程，引入代理式闭环流程和模块化技能编排。

2. 技术贡献：提出 MGPO 算法，为数据合成代理设计专用 RL 目标；建立完整的技能获取、SFT、RL 三阶段训练体系。

3. 实证突破：以极小数据量（11,000 条轨迹）和中等模型规模（30B）达到 SOTA 水平，验证了数据质量替代数据规模的核心主张。

4. 范式意义：挑战了“更大模型、更多数据”的传统扩展路径，为构建自我进化的推理生态系统——模型自主合成训练信号、持续自我超越——提供了可扩展的路径。

八、核心结论

推理能力的瓶颈不在于模型参数规模，而在于高精度、高难度训练信号的密度。

Agentic Proposing 通过将复杂推理分解为可组合的原子技能，并借助代理的自主迭代优化，成功实现了少量高质量合成数据替代大规模数据集的目标，为打破人工标注瓶颈、实现模型自主进化推理能力开辟了新方向。这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

项目地址在这里。

摘要

推进大型语言模型中的复杂推理依赖于高质量、可验证的数据集，然而人工注释成本高昂且难以规模化。当前的合成范式常常面临一个反复出现的权衡：维持结构有效性通常会限制问题的复杂性，而放宽约束以增加难度又常常导致实例不一致或无法求解。为解决此问题，我们提出了 Agentic Proposing，一个将问题合成建模为目标驱动的序贯决策过程的框架，其中专用代理动态地选择并组合模块化推理技能。通过内省反思和工具使用的迭代工作流，我们利用多粒度策略优化（MGPO）训练了 Agentic-Proposer-4B，以生成跨数学、编码和科学领域的高精度、可验证的训练轨迹。实证结果表明，在代理合成数据上训练的下游求解器显著优于领先基线，并展现出强大的跨领域泛化能力。值得注意的是，仅在 11,000 条合成轨迹上训练的 30B 求解器在 AIME25 上达到了最先进的 91.6% 准确率，可与 GPT-5 等前沿规模专有模型相媲美，证明了少量高质量合成信号可有效替代大规模数据集。

1 引言

1 引言 推进复杂推理，特别是在数学问题求解等高难度领域，是大型语言模型（LLM）研究的核心前沿。OpenAI o1 [1] 的发布标志着社区将推理能力作为关键基准的优先考量。同时，DeepSeek-Math [2] 等突破性工作证明了强化学习（RL）在激发数学推理潜力方面的强大功效。然而，这些 RL 方法根本上依赖于可验证的环境反馈，这转化为对大量高质量、高难度且可验证问题的迫切需求。目前，获取此类问题严重依赖于昂贵的人工注释 [3]。这一根本性限制催生了合成可验证、高难度训练数据的研究。

当前的数据合成范式在扩展和多样化推理数据集方面已取得长足进展。这些技术可根据其核心机制大致分类：一些方法，如 MetaMath [3] 和 WizardMath [4]，重写或演化现有问题以引出一系列解决路径；其他方法，如 MathSmith [5]、ScaleQuest [6] 和基于关键点驱动的方法 [7]，通过从结构化来源中提取和重组概念来生成新问题；而像 DESIGNER [8] 这样的方法则从专家问题库中抽象可重用的“设计逻辑”或推理模式，用于系统化构建。这些方法扩大了数据集规模，并能在各自设置下生成可用实例。然而，现有方法通常依赖人工设计的生成模板或固定的结构先验来确保问题有效性。这限制了问题构建在一个狭窄的、预定义的空间内，并阻碍了对新颖、高难度推理组合的自主探索。相反，放松此类约束以增加生成灵活性往往会导致逻辑不一致或无法求解的实例。

图 1 数据合成范式比较。(a) 传统方法：基于静态概念的开环、单次生成——通常不稳定且不可验证。(b) 代理式提出：一个闭环过程，组合模块化技能并使用工具辅助验证，生成稳定、可验证且校准良好的问题。

为应对这一挑战，我们认为高难度问题的合成不应被视为单一的文本生成任务，而应被视为一个组合逻辑工程化的过程。核心动机是将推理模式转化为可执行的组件，通过这些组件可以探索推理前沿。我们引入了可组合代理技能（Composable Agent Skills）的概念，将问题构建逻辑分解为原子性的推理模块。具体而言，我们提出了 Agentic Proposing，一个将合成建模为目标驱动的序贯决策过程的框架。通过内省反思和工具使用的迭代工作流，专用提出代理学习动态选择和组合这些原子技能，以合成逻辑合理且难度精确校准的复杂问题。

实证上，我们方法的有效性通过实验得到验证，实验表明代理合成的轨迹相比现有基线提供了更优的训练信号。值得注意的是，仅在 10,000 条合成轨迹上训练的 4B 求解器持续优于数学、科学和编码领域的既有推理数据集。这种强大的泛化能力表明，高精度信号，而非模型规模，才是推理性能的主要瓶颈。此外，通过扩展到 30B 求解器，我们的框架在 AIME 2025 上达到了最先进的 91.6% 水平，证明代理式合成有效地弥合了开源模型与前沿规模 LLM 之间的差距。我们的主要贡献如下：

图 2 模型规模与 AIME 2025 准确率（mean@64）对比。我们的 Proposing-30B-A3B 达到了最先进的 91.6% 准确率，超越了参数多至 20× 的开源模型（如 DeepSeekv3.1, Mistral-3），并与顶级专有模型相媲美。这展示了我们代理式合成框架所带来的卓越参数效率。

1. Agentic Proposing 框架。我们引入 Agentic Proposing，其中专用代理通过迭代的内省反思和工具使用来管理问题合成，自主审计和纠正错误，以提高有效性和可解性。

2. 基于技能的问题构建。我们实现了一个模块化管道，使代理能够将原子推理技能组合成复杂的、可验证的问题。该方法支持对逻辑结构和难度的精确控制。

3. 提出者的代理式后训练。我们使用代理式 SFT 和多粒度策略优化（MGPO）训练了一个专用的 Agentic-Proposer-4B，这是一种针对数据提出代理量身定制的 RL 方法，可生成高保真推理轨迹。

4. 卓越的实证性能。我们证明了由我们提出者合成数据的有效性。通过在代理生成的问题上训练，下游 4B 求解器优于领先基线，并在科学和编码领域表现出强劲性能。值得注意的是，仅在 11,000 条轨迹上训练的 30B 求解器在 AIME25 上达到 91.6%，超越了 Grok-4.1-Fast 和 Claude-4.5-Opus，并与 GPT-5 和 Gemini-3-Pro 相媲美。

2 相关工作

基于种子的扩展。一系列工作致力于通过迭代扩展小规模种子问题集来增强训练数据。早期方法如 Self-Instruct [9] 从模型输出生成新指令。随后，WizardMath [4] 和 Auto Evol-Instruct [10] 演化指令以增加复杂性和多样性。更近期的方法包括 MetaMath [3]（引导生成数学问题）以及 CoT-Self-Instruct [11]、PromptCoT [12]、PromptCoT 2.0 [12]（整合了思维链推理）。虽然这些方法有效地扩展了数据，但它们仍受限于种子质量，且缺乏根据模型不断发展的能力动态调整生成课程表的机制。

基于语料库的提取。另一种方法直接从文本语料库或结构化知识源合成问题。ScaleQuest [6] 提出了一个可扩展的问题合成框架。MathSmith [5] 和基于关键点驱动的数据合成 [7] 通过强化学习策略生成具有挑战性的数学问题。DESIGNER [8] 采用设计逻辑引导的合成方法，为多学科推理数据生成提供支持。虽然这种方法确保了广泛的事实基础，但通常难以精确校准问题难度，且可能无法针对特定的学习者弱点。

图 3 Agentic-Proposer 合成流程。该框架通过三个连续阶段演进：（阶段 1）技能获取：从多样化语料库中提取和过滤原子技能，构建自主技能库。（阶段 2）代理式 SFT：模仿包含内省反思、工具执行和动态技能剪枝的专家轨迹。（阶段 3）代理式 RL (MGPO)：通过多粒度奖励优化策略。代理遵循结构化的推理流程（草稿 → 检查 → 优化 → 定稿），并由基于课程的技能分布引导，为下游求解器训练合成高难度、逻辑合理的问题。

基于代理的自我对弈。近期工作探索使用语言模型在自我对弈设置中生成推理数据。DeepSeekMath [2] 和 DeepSeek-R1 [13] 采用带有自我对弈的强化学习。R-Zero [14]、Absolute Zero [15] 和 SPICE [16] 进一步研究了从极少数据中进行自我进化的推理。Socratic-Zero [17] 引入了一个包含教师、求解器和生成器代理的协同进化框架。然而，这些方法依赖于静态提示策略或单代理自我对弈架构，缺乏具有反应式适应性的真正代理行为。

3 Agentic Proposing 框架

3.1 问题形式化与技能组合

3.2 总体流程

我们的训练流程如图 3 所示，通过三个阶段编排 Proposer 的演进：

1. 技能获取与库形式化：从大规模语料库中提炼并形式化多样化的原子技能集，构建基础技能库 Kself​，作为代理的先验知识。

2. 代理式监督微调（SFT）：利用教师策略合成展现复杂行为（如内省反思和工具使用）的专家轨迹，通过行为克隆初始化代理的策略 πθ。

3. 代理式后训练 via MGPO：为弥合逻辑有效性与极高难度之间的差距，我们采用多粒度策略优化（MGPO）算法，精炼代理将模块化技能编排为高精度、可验证且具挑战性任务的能力。

3.3 技能获取与动态剪枝

3.4 代理式监督微调

3.5 代理式强化学习

最后阶段采用多粒度策略优化（MGPO）算法进一步优化代理的策略，如图 3 阶段 3 所示。

3.5.1 基于课程的技能分布

3.5.2 分层奖励函数

3.5.3 多粒度策略优化（MGPO）

MGPO 通过变分重构解决 KL 约束奖励最大化问题，引出以下命题：

命题 3.2（最优策略形式）。KL 约束奖励最大化目标：

每种方法均使用 10,000 条轨迹的预算和相同的 GRPO 配方。评估使用跨基准的 Mean@64 准确率。总体表示未加权平均值。箭头 (↑/↓) 显示相对于零样本基线的绝对准确率变化。

表 2 所有方法均使用 GRPO 配方在 11,000 条混合轨迹上训练。数学基准使用 Mean@64 评估。LCB (LiveCodeBench) v5 和 v6 使用 Best-of-5 评估。箭头表示相对于零样本基线的绝对准确率变化。

4 实验

4.1 实验设置

模型。我们的框架采用一组专用模型，分别负责提出、验证和难度估计。验证器集成和探测者的完整规格见附录 A.2。

跨其他推理领域的泛化。下游模型在各自领域内固定的 10,000 条其他轨迹预算上进行训练。评估使用 Mean@1。箭头表示相对于零样本基线的绝对准确率增益。

表 3 跨领域鲁棒性与迁移：4B 求解器在科学和通用推理基准上的性能

图 4 竞赛数学基准上的整体性能比较。我们的 Agentic Proposing-4B (38.3%) 在固定的 10,000 条轨迹预算下显著优于所有基线，相比零样本基线 ((34.2%)) 实现了 (+4.1%) 的绝对增益。

基准。我们在竞赛数学（AIME 2024/2025, HMMT, AMO-Bench）、算法编码（LiveCodeBench v5/v6）和科学推理（MMLU-Redux/Pro, GPQA, SuperGPQA, OlympicArena）上进行评估。完整的基准描述见附录 A。

评估协议。详细的评估协议见附录 A.1。

数据集与基线。所有方法均在 10,000-11,000 条轨迹的固定预算下，与合成、人工策划和前沿模型基线进行比较。完整的基线配置见附录 A.4。

训练设置。下游求解器使用 GRPO [19] 进行优化。训练超参数和协议详见附录 A.3。

4.2 主要结果

竞赛数学性能。如图 4 和表 1 所示，在固定的 10,000 条合成数学轨迹预算上训练 4B 参数求解器，总体增益显著，达到 +4.1 分。值得注意的是，虽然许多已建立的基线（如 MetaMath 和 OpenR1math）相对于零样本基线表现出性能下降，但我们的框架实现了持续改进。最显著的增益出现在高难度竞赛中：AIME 2025 上达到 +4.5 分，HMMT 上达到 +5.5 分。

模型缩放与算法泛化。为探索我们方法的可扩展性，我们评估了在 11,000 条混合轨迹（数学和代码）上训练的 30B 参数求解器。如表 2 报告，我们的模型在其规模上建立了新的最先进水平，在 AIME 2025 上达到 91.6%——相比零样本基线绝对提升了 +6.6 分。除数学外，该模型在竞争性编程方面也展现出卓越的泛化能力，在 LiveCodeBench v5 和 v6 上分别获得了 +5.3 和 +5.2 分的增益。此性能超越了领先的开源推理数据集，如 OpenMathReasoning 和 PromptCoT 2.0。

4.3 跨领域鲁棒性与迁移

通用与科学推理。为评估我们合成流程的可迁移性，我们在 10,000 条针对编码和科学领域的轨迹上训练了一个 4B 求解器。如表 3 总结，该模型在跨学科基准上实现了总体 +5.3 分的增益。最值得注意的是，在研究生级别推理方面观察到显著突破：SuperGPQA 上 +7.3 分，GPQA 上 +6.3 分。

OlympicArena 上的认知鲁棒性。在 OlympicArena 的纯文本验证子集上的表现（+4.4 分）进一步证实了 Agentic Proposing 能够获取深度认知能力。与常常导致领域特定过拟合的传统增强方法不同，我们的 Proposer 合成的轨迹促进了跨学科的鲁棒性。

5 分析与消融研究

为分离 Agentic Proposing 框架中每个组件的贡献，我们进行了受控消融实验。在所有主要消融实验中，我们在固定的 10,000 条合成轨迹预算上，使用不同配置的 Proposer 生成的轨迹训练下游 Qwen3-4B 求解器，并使用 Mean@64 准确率在 AIME 上进行评估。额外的消融实验——包括对 MGPO 超参数的敏感性、动态技能剪枝和课程设计——见附录 C。

5.1 Proposer 专业化：训练 vs. 提示

表 4 Proposer 专业化消融。我们比较了前沿模型 GPT-5.2 在不同配置下的性能与我们的专用 4B Proposer。Δ 表示相对于原始 GPT-5.2 基线的性能增益。

结构化指导 vs. 模型规模。如表 4 所示，为 GPT-5.2 配备我们的技能库和代理工作流，相较于其原始提示性能产生了显著的 +3.6 分提升。这表明结构化的技能组合和迭代验证对于高质量问题合成至关重要——即使对于强大的通用模型也是如此。值得注意的是，我们通过 MGPO 训练的专用 4B Proposer 比增强后的 GPT-5.2 高出 +1.9 分（比原始 GPT-5.2 高出 +5.5 分），突显了在代理轨迹上进行领域特定的强化学习能使小模型在专门的推理合成任务上超越前沿规模 LLM。

5.2 代理流程的消融

代理纠正的协同作用。工具使用（τexec）和内部反思（τthink）都作为必要的质量关卡，各自独立地使下游性能提升超过 2 分。然而，它们的全部潜力仅在迭代循环（草稿-检查-优化）中被释放，该循环实现了累计 +6.8 分的增益

表 5 代理流程的消融。下游 4B 求解器在 AIME 上的性能。所有 Proposer 合成了固定的 10,000 条轨迹预算。

相较于单次提出。这证实了代理纠错对于生成高难度、逻辑合理的问题是不可或缺的。

表 6 RL 目标的消融。下游 4B 求解器在 AIME 上的性能。所有 Proposer 使用不同的 RL 目标在固定的轨迹预算下进行优化。

5.3 MGPO 的有效性

细粒度信用分配。我们比较了 MGPO 与标准 GRPO，以评估多粒度奖励的影响。如表 6 所示，标准的轨迹级 GRPO 在长合成链中难以处理稀疏的奖励信号。通过引入阶段级优势（AS​），MGPO 相比基线实现了显著的 +6.5 分提升。这证实了将信用分配给中间代理行为——如内部反思和工具调用——能有效减轻噪声，并引导 Proposer 在整个推理过程中朝向最优策略。

6 结论

在本文中，我们介绍了 Agentic Proposing，一个新颖且完全自主的框架，它将问题合成转化为一个目标驱动的组合逻辑工程化过程。通过将模块化推理技能与自我纠正的代理流程以及 MGPO 算法相结合，我们的系统能够生成高度多样化、高难度且可验证的训练数据，这些数据精确地针对模型不断演进的推理前沿。实证结果表明，我们的框架使求解器能够在数学、编码和科学领域达到最先进的性能，显著优于强基线和前沿专有模型。此外，我们的发现揭示了高级推理的瓶颈不在于参数规模，而在于高质量训练信号的密度，这挑战了传统观点。这一进展的核心是将复杂推理分解为可组合的原子技能——从静态提示转向动态逻辑构建。通过弥合自主合成与复杂逻辑构建之间的鸿沟，Agentic Proposing 为走向一个自我进化的推理生态系统建立了一条可扩展的路径，在该生态系统中，模型可以系统地掌握日益复杂的知识前沿。