Does Your Reasoning Model Implicitly Know When to Stop Thinking?
论文核心总结与翻译
一、主要内容
本文聚焦大型推理模型（LRMs）在长思维链（CoT）推理中存在的冗余问题，通过实证研究发现：LRMs 本身隐含"适时停止思考"的能力，但当前采样范式（如 pass@1）掩盖了这一潜力。
论文首先指出现有LRMs的核心困境：长思维链虽能提升复杂任务表现，但常包含大量无效冗余 token，导致推理效率低下；且更长的 CoT 与正确性无正相关，甚至可能降低准确率。为解决这一问题，论文提出两层方案：
- SAGE 采样范式（Self-Aware Guided Efficient Reasoning）：基于模型自我置信度（累计对数概率 Φ），通过分步探索和终止机制，挖掘模型内在的高效推理链，在不损失准确性的前提下缩短 CoT 长度。
- SAGE-RL 强化学习框架：将 SAGE 作为混合采样策略融入 RLVR（基于可验证奖励的强化学习）的rollout阶段，使模型在标准 pass@1 推理中习得高效推理模式，同时提升准确率和推理效率。
实验验证显示，SAGE-RL 在 MATH-500、AIME 2024/2025 等6个数学推理基准上表现优异，相比基线模型平均减少 44.1% 的 token 用量，同时准确率提升 2.1%，且在难任务上优势更显著。
二、创新点
- 发现核心现象：首次实证验证 LRMs 隐含"适时停止思考"的能力，该能力被当前采样范式掩盖，可通过扩大探索空间激活。