Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters

Step 3.5 Flash 文章总结与核心翻译

一、主要内容

本文提出了稀疏混合专家（MoE）模型Step 3.5 Flash，核心目标是弥合前沿级智能体能力与计算效率之间的差距。模型以"精准推理+快速可靠执行"为核心设计原则，采用1960亿总参数基座与仅110亿激活参数的高效架构，通过混合注意力机制、多令牌预测等优化，实现多轮智能体交互的低延迟与低成本。

训练流程分为预训练、中期训练和后训练三个阶段：预训练阶段基于17.6万亿高质量令牌构建基础能力，解决MoE训练中的数值敏感性、专家崩溃等稳定性问题；中期训练将上下文窗口扩展至128k，强化长程推理与智能体核心能力；后训练通过领域专家模型构建、自蒸馏与可扩展强化学习（RL）框架，实现数学、代码、工具使用等领域的持续自我提升。

评估结果显示，该模型在推理（IMO-AnswerBench 85.4%）、代码（LiveCodeBench-v6 86.4%）、智能体任务（τ²-Bench 88.2%）等基准测试中表现优异，性能比肩GPT-5.2 xHigh、Gemini 3.0 Pro等前沿模型，为实际工业环境中复杂智能体的部署提供了高密度基础架构。

二、核心创新点

1. 架构设计创新

• 混合注意力机制：采用3:1比例的滑动窗口注意力（SWA）与全注意力交织布局，通过增加SWA查询头数量（64→96）和头部门控注意力，在降低计算复杂度的同时弥补性能损失。
• 高效稀疏Mo