当前位置：首页 > news >正文

长推理不一定更强：北航 × 字节提出SAGE-RL，挖出大模型隐藏天赋

news 2026/4/16 22:56:01

大模型其实“心里有数”，天生具备高效推理的潜能。

论文标题：

Does Your Reasoning Model Implicitly Know When to Stop Thinking?

研究团队：

北航+字节跳动联合研究

论文地址：

https://arxiv.org/abs/2602.08354

项目主页：

https://hzx122.github.io/sage-rl/

核心发现：被采样范式掩盖的“在合适时机终止思考”天赋

本研究最核心的突破，是首次系统性证明了大推理模型（LRMs）天生具备判断推理终止时机的能力——它们能精准识别“已得出正确答案”的节点，却被 pass@1 等主流采样范式掩盖，导致推理过程充斥大量冗余。

这一发现并非偶然，而是通过五层递进的实验验证的核心结论，其中每一层都揭示了模型高效推理潜能的真实性与普遍性。

1. 悖论拆解：长推理链≠高正确率，冗余反而拖垮性能

长期以来，行业默认“更长的思维链（CoT）能带来更优推理结果”，但实验数据与论文中的跨模型对比表格，从定量角度揭示了这一认知的谬误。

我们通过多个研究案例验证了长度与正确率的脱钩关系：Balachandran 等人（2025）观察到在 AIME 2025 数据集上，DeepSeek-R1 生成的回复长度接近 Claude 3.7 Sonnet 的 5 倍，却实现了相近的正确率。

Hassid 等人（2025）在 AIME 和 HMMT 数据集上发现，QwQ-32B 的最短回复比随机采样回复少用 31% 的 token，正确率反而高出 2 个百分点。

Shrivastava 等人（2025）则指出，在 AIME 2025 数据集上，72% 的问题中，更长的回复比更短的回复错误率更高。

这些发现共同表明，一旦思维链长度达到某个阈值，单纯扩大长度并不会带来推理能力的相应提升，反而会因冗余步骤引入逻辑混乱，降低最终答案的可靠性。当前 CoT 输出中包含的大量无关 token 和重复验证步骤，不仅不贡献正确性，还会大幅降低推理效率。

2. 关键证据：模型对“高效路径”的天然置信度偏好

通过对模型内部生成机制的解析，研究证实累积置信度（Φ）是模型判断推理有效性的核心信号。

核心公式定义

累积置信度（Φ）：表示模型对整条推理链有效性的综合判断，计算方式为所有 token 的平均对数概率：

单 token 对数概率（）：表示模型对单个 token 生成的置信度：

其中，是模型在给定查询 x 和前缀序列下生成第个 token的概率。

3. 范式缺陷：现有采样策略扼杀了模型的“自主终止”能力

尽管模型天生具备识别高效路径的能力，但当前主流的采样范式（尤其是 pass@1）存在致命缺陷，导致这一能力被完全掩盖。

首次正确步骤占比（RFCS）：用于量化模型的高效推理能力，定义为正确答案首次出现的步骤索引与推理总步骤数的比值：

实验显示，在 pass@1 范式下，超 50% 的样本在得出正确答案后，仍会生成数百个 token 的重复验证步骤。更关键的是，这一问题无法通过扩大模型规模解决。

pass@k 范式虽能通过多轮采样发现少量“短且优”的有效推理链，但这些链被淹没在大量冗余样本中，需要额外计算成本筛选，无法直接应用于实时推理场景，本质上仍是对模型高效推理潜力的浪费。

〓不同大推理模型在 MATH500 数据集上的首次正确步骤比（RFCS）统计结果

4. 模型对高效链的终止决策高度自信

模型对高置信度推理链的终止决策具有极高的鲁棒性，这一特征通过终止容忍度（TR）敏感性分析得到了验证。

终止容忍度（TR）：表示模型对思考结束 token"</think>" 排名的容忍程度，计算方式为。

其中，是超参数，，代表对思考终止 token 排名的容忍上限；是探索宽度（EW）。当终止 token 的排名在 top-h 范围内时，模型会接受该终止决策；否则，会丢弃该候选序列。

实验显示，基于 Φ 值的终止决策不受外部参数干扰，是模型内在能力的体现。

〓随着探索宽度增加，TSearch 不同变体的性能对比

〓不同 TR 下 TSearch 变体的性能对比

进一步分析发现，随着探索宽度增加，TSearch w/Φ 识别出的终止 token"</think>" 在候选 token 集中的排名始终稳定在第 1 位，表明模型对高效推理链的终止决策高度自信。

而 TSearch w/中终止 token 的排名随探索宽度增加逐渐上升，显示模型对冗余链的终止决策充满不确定性。

〓思考终止符出现在候选集 T 中时的平均排名比率

〓当根据模型在每个扩展步骤的置信度保留推理分支时，模型能够以高置信度完成推理

5. 收敛验证：探索空间扩大时，模型的高效推理能力更显著

研究进一步发现，当给予模型足够的探索空间时，其“自主终止”能力会呈现明显的收敛趋势。

在充足的 token 预算（）下，采用 TSearch (m, 1) w/Φ 作为采样策略，随着探索宽度的增加，模型的 pass@1 持续提升，同时响应长度持续缩短，两者均逐渐收敛至最优值。

这一趋势证明模型的高效推理能力是稳定且可被充分激活的。

〓在所有设置下，pass@1 和响应长度均随 EW 收敛

〓不同探索宽度下 token 效率（pass@1/LEN）对比

方法概述：释放高效推理潜能的极简方案（SAGE & SAGE-RL）

基于上述核心发现，本研究提出一个轻量化的解决方案，无需修改模型结构，核心目标是“解锁”模型天生的高效推理能力。

2.1 SAGE：自感知引导的高效推理

SAGE 的设计完全围绕“尊重模型自主判断”展开，基于 TSearch w/Φ 优化而来。

关键设计

1. 累积置信度（Φ）计算：

2. 步阶式推理链探索：按“推理步骤”扩展候选链，而非逐 token 盲目生成。在第 i 步，每个候选序列通过采样 2m 个推理步骤进行扩展：

其中，是基于查询 x 和前缀随机采样的个推理步骤的集合。

3. 置信度驱动推理终止：无需手动设置 TR 参数，当候选序列的推理步骤以终止 token"</think>" 结束时，直接将其加入完成集，因高置信度推理链必然伴随自信的终止决策。

4. 生成最终回答：生成 r 条推理链后，基于查询和推理链贪婪解码出最终答案。

2.2 SAGE-RL：高效推理模式迁移

为让模型在标准 pass@1 推理中持续保持高效，将 SAGE 融入强化学习框架（RLVR），仅修改 rollout 阶段：

核心公式（基于 GRPO/GSPO 扩展）

SAGE-GRPO 目标函数：

SAGE-GSPO 目标函数：

其中，G 为每组生成的回复数，r 为 SAGE 采样的高效推理链数，为 token 级重要性权重，为序列级重要性权，为优势函数。

用高效样本引导模型固化“自主终止”习惯，无需改动现有 RL 框架，部署成本极低。

实验：核心发现的全方位佐证

所有实验均围绕“验证模型天生具备高效推理潜能”展开，覆盖 6 个具有挑战性的数学推理数据集，四种基座模型和 GRPO、GSPO 两种基于组的强化学习算法，验证了核心发现的普适性。

佐证一：SAGE-RL固化效果显著

SAGE-RL 微调后，各个模型的 RFCS 平均值显著提升的同时，准确率也有了显著的提升。这表明模型已成功将 SAGE 的高效推理模式迁移到标准的 pass@1 推理中。

〓不同大推理模型在 MATH500 数据集上的首次正确步骤比（RFCS）统计结果

〓 SAGE-RL 训练后的模型在 MATH500 数据集上的首次正确步骤比（RFCS）统计结果

〓案例1

〓案例2

佐证二：全维度性能领先

SAGE-RL 在所有数据集上实现正确率、简洁度、token 效率的全面领先：平均正确率提升 2.1%，平均 token 数减少 44.1%，token 效率（Pass@1/LEN）均为最优/次优。

〓六个基准数据集和四个基础模型在使用 LC-R1、ThinkPrune-2k、AdaptThink、Efficient Reasoning、GRPO-LEAD、GRPO、GSPO、SAGE-GRPO 和 SAGE-GSPO 方法前后的 pass@1 准确率、响应长度（LEN）和 token 效率（TE）结果。