微软：小模型替代大模型执行终端任务

📖标题：Terminus-4B: Can a Smaller Model Replace Frontier LLMs at Agentic Execution Tasks?
🌐来源：arXiv, 2605.03195v1

🛎️文章简介
🔸研究问题：在代码智能体的终端执行子任务中，经过微调的小型语言模型能否取代昂贵的前沿大模型，同时保持性能并降低 Token 消耗？
🔸主要贡献：论文提出了 Terminus-4B 模型及执行子代理架构，证明小模型在终端执行任务上可媲美甚至超越前沿模型，并将主代理 Token 用量降低约 30%。

📝重点思路
🔸设计执行子代理架构，将冗长的终端命令执行与输出解析隔离在独立的子代理上下文中，主代理仅接收结构化摘要，避免上下文窗口被日志填满。
🔸构建两阶段后训练流程：首先利用内部遥测数据中的专家轨迹对 Qwen3-4B 进行监督微调（SFT），使其掌握工具调用与输出格式规范。
🔸引入基于规则的多维 LLM 裁判奖励机制，通过对比候选轨迹与参考轨迹在执行质量、失败模式及最终回答有用性上的表现，指导强化学习（RL）优化。
🔸开发解耦的子代理训练框架，在 RL 阶段使用轻量级模型作为主代理固定输入，确保每次 rollout 起始状态一致，大幅降低训练成本。

🔎分析总结
🔸实验表明 Terminus-4B 在 SWE-Bench Pro 和内部 C# 基准测试中，解决率与使用 Claude Opus/Sonnet 等前沿模型作为子代理时持平，部分场景表现更优。
🔸采用 Terminus-4B 作为子代理可使主代理的 Token 消耗减少高达 30%，且显著降低了主代理因不信任子代理结果而重复执行终端命令的频率。
🔸消融实验证实，仅靠 SFT 不足以达到最佳效果，结合 GRPO 强化学习的 Terminus-4B 在生成准确、可操作的最终摘要方面显著优于基线小模型。
🔸该方案具有良好的泛化性，无论主代理是 GPT-5.3-Codex 还是 Claude 系列，Terminus-4B 均能稳定工作并有效节省整体推理成本。

💡个人观点
论文通过高质量的特定领域后训练（SFT+RL），成功让小模型具备了处理复杂构建与测试流程的能力。