腾讯：长时终端任务密集评测基准

📖标题：Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
🌐来源：arXiv, 2607.08964v1

🛎️文章简介
🔸研究问题：现有终端基准仅关注短时任务和最终结果，如何有效评估智能体在长时复杂任务中的中间进展与真实能力？
🔸主要贡献：论文提出Long-Horizon-Terminal-Bench，通过子任务级密集奖励机制精准量化智能体在长时终端任务中的部分进展与失败模式。

📝重点思路
🔸构建包含46个任务的基准集，涵盖实验复现、软件工程等九大类，每个任务需数百步交互及数十分钟至数小时执行，专门测试长时规划与调试能力。
🔸设计基于子任务的密集评分体系，将长任务分解为语义明确的细粒度检查点，支持二元、连续阈值及多轮聚合三种评分方式，提供部分学分而非仅二元成败。
🔸采用容器化环境封装真实专业工作流，设置低权重公开测试与高权重隐藏压力测试，防止模型过拟合表面规则，确保评估鲁棒性。
🔸利用确定性验证器在运行结束后自动计算归一化奖励分数，结合通过率与平均奖励双指标，全面刻画模型完成任务的程度与效率。
🔸对15个前沿模型进行统一框架评测，记录Token消耗、交互轮次、执行时长及成本，并从超时、提前退出等维度深入分析失败原因。

🔎分析总结
🔸当前最强模型GPT-5.5在0.95奖励阈值下通过率仅为15.2%，平均通过率仅4.3%，表明长时执行仍是智能体的核心瓶颈。
🔸密集奖励揭示了64.6%的运行取得了实质性部分进展，而二元评估会将这些有意义的尝试误判为完全失败，证明细粒度评分的必要性。
🔸79%的未解决任务源于超时而非代码错误，说明主要挑战在于长时进度维持与时间预算管理，而非单步推理正确性。
🔸存在大量“虚假完成”现象，即智能体在未满足隐藏验证条件时自信地提前终止，暴露出自我验证能力弱和停止判断不准的问题。
🔸成本与性能并非线性相关，部分模型花费更高但效果更差，显示单纯增加推理投入无法解决长时规划缺陷，需优化探索效率与状态管理。

💡个人观点
论文用过程奖励替代结果奖励来评估长时任务，精准定位了智能体“做得对但做不完”以及“自以为做完”的深层缺陷。