Qwen3 大语言模型完整技术报告
报告编号：QWEN3-TR-202505
研发单位：阿里巴巴通义实验室
发布日期：2025年5月
开源协议：Apache 2.0（全系列商用免费）
摘要
Qwen3 是通义实验室推出的第三代通用大模型家族，分为稠密Dense全激活系列与MoE混合专家稀疏两大架构，基于36万亿Token多语言高质量语料完成三阶段分层预训练。核心创新为Hybrid Thinking 统一双推理模式，单模型原生支持深度思维链推理/极速轻量化应答自由切换；MoE架构实现“超大总参、低激活算力”，兼顾旗舰级推理精度与线上推理成本；统一支持128K原生上下文、119种语言、原生Function Calling、标准化结构化JSON输出。全系覆盖0.6B~235B参数档位，适配端侧、本地私有化、云端API、多模态全业务场景，在数学、代码、长文档、智能体四大基准任务达到同期开源模型第一梯队水平。
一、模型家族整体规格体系
1.1 稠密Dense系列（全参数激活，部署简单、稳定性强）
稠密模型每轮推理激活全部网络参数，无路由调度开销，适合边缘设备、中小算力单卡部署、高并发简单问答场景。
| 模型型号 | 总参数量 | 网络层数 | 注意力头 | 原生上下文窗口 | 适用场景 |
|---|---|---|---|---|---|
| Qwen3-0.6B | 0.6B | 28 | 16/8 | 32K | 手机端侧、文本分类、标签抽取 |
| Qwen3-1.7B | 1.7B | 36 | 32/8 | 32K | 轻量化客服、短句翻译 |
| Qwen3-4B | 4B | 36 | 32/8 | 128K | RAG知识库、简单脚本生成 |
| Qwen3-8B | 8B | 40 | 40/8 | 128K | 通用文案、小型Agent |
| Qwen3-14B | 14B | 48 | 56/8 | 128K | 企业通用业务、中等复杂度代码 |
| Qwen3-32B | 32B | 64 | 64/8 | 128K | 合同审查、复杂方案、工程代码 |
1.2 MoE混合专家稀疏系列（大能力、低推理开销）
无共享专家设计，单Token动态路由激活8个专家，采用全局批次负载均衡损失优化专家专业化分工，大幅降低推理显存与延迟。
| 模型型号 | 总参数量 | 单次激活参数 | 专家总数 | 原生上下文 | 核心定位 |
|---|---|---|---|---|---|
| Qwen3-30B-A3B | 30.5B | 3.3B | 128 | 128K | 中小企业性价比旗舰，单卡可跑 |
| Qwen3-235B-A22B | 235B | 22B | 128 | 128K | 全系列旗舰，对标国际闭源大模型 |
1.3 垂直衍生专用模型
- Qwen3-Coder：代码专项微调版本，强化多工程语言、跨文件项目开发、报错自动修复；
- Qwen3-Omni：多模态统一底座，文本/图像/音频一体化，支持40分钟长音频解析；
- Qwen3-Instruct 指令对齐版：面向对话API、提示词工程、工具调用场景优化。
二、底层Transformer基础架构优化
Qwen3 基于改良版标准Transformer Decoder-only架构，在Qwen2.5基础上完成多项工程级稳定优化，统一稠密/MoE基础组件。
2.1 基础标准化组件
- 位置编码：RoPE旋转位置编码，支持YaRN上下文无损扩展，原生128K可无损扩至1M Token；
- 归一化方案：Pre-Norm + RMSNorm，移除QKV Bias，新增QK-Norm稳定超大模型训练梯度；
- 注意力机制：GQA分组查询注意力，平衡推理速度与长文本捕捉能力；
- 前馈网络：SwiGLU激活函数，提升复杂语义、数学逻辑拟合能力；
- 分词Tokenizer：统一多语言词表，覆盖119种语言，中英混排、代码符号分词歧义大幅降低。
2.2 MoE专属架构设计要点
- 移除前代共享专家模块，全部能力由独立专家承载；
- 路由规则：每个输入Token固定激活Top-8专家；
- 负载均衡：全局Batch均衡损失，避免部分专家闲置、部分过载；
- 路由轻量化：低开销线性路由层，不额外增加推理延迟。
三、三阶段分层预训练体系
总预训练语料规模36万亿高质量Token，分为三个递进训练阶段，逐层提升通用能力、推理能力、长文本能力。
阶段S1：通用基础训练（30T Token，序列长度4096）
- 语料构成：全网通用文本、百科、书籍、新闻、多语言基础语料；
- 训练目标：学习基础语法、世界常识、跨语言语义对齐；
- 输出底座：具备完整基础读写、翻译、问答能力的原始Base模型。
阶段S2：推理强化训练（5T STEM/代码高质量Token，序列长度4096）
- 增量引入海量数学、物理、工程、编程、逻辑合成推理数据；
- 加速学习率衰减，精细优化梯度更新策略；
- 核心收益：大幅提升计算、代码、多步骤逻辑推导原生能力，为Hybrid Thinking机制提供数据基础。
阶段S3：超长上下文扩展训练（长文本专项语料，序列32K）
- 输入打包序列提升至32768 Token，加载合同、完整代码库、长篇报告、全量日志；
- 优化长距离注意力衰减问题，缓解“上下文遗忘”；
- 完成后原生支持128K上下文窗口，可一次性处理40万汉字完整文档。
四、核心创新：Hybrid Thinking 双模统一推理机制
本模型区别于前代、同类开源模型的标志性技术创新，单模型内置两套推理路径，无需切换权重即可动态切换模式。
4.1 两种推理模式定义
模式1：思考模式 enable_thinking = true（深度推理）
- 触发逻辑：模型自动生成完整CoT思维链分步推导过程，输出
...推理中间步骤； - 资源开销：Token消耗提升约40%，推理延迟增加；
- 适用任务：数学证明、代码排错、合同风险分析、系统架构推演、多步骤复杂计算；
- 配套控制参数：
thinking_budget，可限制最大推理Token长度，精细平衡算力与精度。
模式2：极速模式 enable_thinking = false（快速应答）
- 触发逻辑：跳过中间推导步骤，直接输出最终结论；
- 资源收益：响应速度提升30%以上，Token成本显著降低；
- 适用任务：翻译、摘要、标签提取、短视频文案、简单客服问答。
4.2 双模训练实现方案
- 预训练S2阶段混入双模式对照样本；
- SFT监督微调阶段同步标注“思考/非思考”两类对话样本；
- DPO人类偏好对齐区分两类输出偏好，模型可通过指令/API参数自由切换；
- 对话内支持动态切换：一轮对话前半段深度推理，后半段极速输出，无需重置会话。
五、监督微调与人类对齐（SFT + DPO）
5.1 两阶段指令微调流程
SFT监督微调
构建千万级多格式指令样本，覆盖结构化输出、工具调用、长文档分析、代码生成、多语言对话；统一使用<|im_start|>/<|im_end|>标准对话模板训练，强化角色区分、指令跟随、格式遵守能力。
标准对话模板固定结构：<|im_start|>system 全局角色、约束、输出格式规则 <|im_end|> <|im_start|>user 用户任务、原始素材、需求 <|im_end|> <|im_start|>assistant云端DashScope API自动封装标记，用户仅需传入
messages数组。DPO直接偏好优化（替代传统RLHF）
采用轻量化DPO对齐方案，无需独立奖励模型，训练效率更高；构建成对偏好样本区分：- 深度推理输出vs极简快速输出；
- 标准结构化JSON输出vs自由无格式文本；
- 严谨无幻觉回答vs编造虚构内容；
对齐后大幅降低模型幻觉、提升格式约束遵守度、统一输出风格。
5.2 对齐核心能力增益
- 严格遵循提示词内逐条约束，长提示词后半段规则丢失问题显著缓解；
- 原生适配JSON Schema输出，配合
response_format接口参数几乎无语法错误； - Function Calling工具调用准确率最高可达91.3%；
- 安全边界、价值观阈值均衡，兼顾指令执行度与合规性。
六、五大核心技术能力与量化评测
6.1 超长上下文理解
原生128K Token窗口，YaRN无损扩展至1M Token；长文档尾部信息召回率较Qwen2.5提升27%，支持一次性解析完整年报、数万行代码仓库、全量运维日志。
6.2 119种多语言处理能力
36T多语言预训练语料，低资源小语种数据占比18%；支持119门语言与方言互译、跨语言问答、中英混排专业文档处理；低资源语种指令跟随能力较前代提升40%。
6.3 代码生成专项能力（Qwen3-Coder）
支持Python/Java/Go/JS/SQL/Rust等全主流编程语言；在LiveCodeBench、CodeForces评测领先同期开源模型；可生成完整多文件工程代码、接口异常捕获、批量自动化脚本、数据库性能优化方案。
6.4 原生Function Calling智能体能力
内置标准化工具调用协议MCP，可自主识别是否需要调用外部API、数据库、搜索引擎、计算器；自动生成规范入参JSON，支持多工具串行/并行调用，适配知识库RAG、企业自动化Agent系统。
6.5 结构化输出生产级稳定性
- API侧支持
response_format={"type":"json_object"}强制JSON输出； - 提示词明确字段定义后，极少出现多余描述、markdown包裹、语法缺失；
- 稳定输出Markdown多级表格、有序列表、标准代码块，降低业务文本清洗成本。
6.6 权威基准测试核心指标（Qwen3-235B-A22B）
- 数学推理：AIME’25 81.5分、GSM8K 92.4分；
- 代码能力：LiveCodeBench v5 70.7分、CodeForces 2056分；
- 多语言：MT-Bench多语言子集83.53；
- 通用综合MMLU：87.48分；
整体指标对标国际主流闭源大模型，显著超越同参数量开源竞品。
七、推理工程优化与部署适配
7.1 量化压缩支持
全系原生支持4bit/8bit GPTQ/AWQ量化，量化后精度衰减控制在3%以内，单卡消费级GPU（RTX4090/A10）可部署8B/14B稠密、30B-A3B MoE模型。
7.2 多端部署方案
- 云端API（DashScope/阿里云百炼）
兼容OpenAI标准接口格式，支持流式输出、批量调用、思考模式参数控制、JSON强制输出，按量计费，提供免费测试额度。 - PaaS托管部署（PAI平台）
权重私有化存储，弹性扩缩容，支持自定义微调、私有知识库接入，适合中大型企业合规场景。 - 本地私有化部署
权重开源发布于ModelScope、Hugging Face，支持单机/多卡分布式推理、vLLM加速、连续批处理PagedAttention，大幅提升高并发吞吐。 - 端侧轻量化
0.6B/1.7B量化版本适配手机、嵌入式边缘设备，离线本地推理无网络依赖。
7.3 推理加速特性
- PagedAttention分页注意力，大幅降低KV Cache显存占用；
- MoE路由并行调度，专家计算多流并行；
- 连续批处理、动态批大小，提升线上QPS；
- 流式SSE输出，适配对话实时交互场景。
八、提示词工程底层适配规范
基于模型训练偏好，给出官方最优提示词编写标准，最大化发挥Qwen3性能：
- 强制区分System全局系统提示
角色、全局约束、输出格式统一放入头部system区块，不混入用户消息； - 任务前置、约束条目化
核心需求放在提示词最前端，限制、禁令使用列表逐条罗列，缓解长文本注意力衰减； - 素材与指令隔离
原始文本、日志、表格、代码使用三重反引号""" """包裹，消除分词歧义； - 复杂格式任务补充1~2组Few-Shot样例
4B/8B小模型必须搭配样例；32B/MoE大模型复杂JSON/报表任务推荐携带示例； - 推理任务配套思考开关
数学、代码、架构分析添加分步推导指令，同步开启enable_thinking:true； - 输出末尾增加自查兜底约束，抑制幻觉、多余文本。
九、模型局限与后续迭代方向
9.1 当前版本局限性
- MoE模型存在路由随机波动，极端超长输入下少量专家分配不均；
- 极小0.6B模型复杂逻辑、长格式跟随能力弱于14B/32B稠密；
- 极小众专业细分领域（古生物、精密化工）深度专业知识覆盖有限，需搭配领域微调/RAG。
9.2 后续迭代规划
- Qwen3-Next：混合注意力、更高稀疏度MoE、多Token预测加速推理；
- 上下文扩展至2M Token，长距离依赖精度进一步提升；
- Omni多模态增强视频时序理解、长语音对话；
- 轻量化蒸馏小模型，端侧推理速度翻倍。
十、总结
Qwen3 作为通义实验室第三代通用大模型底座，通过Hybrid Thinking双模推理、低开销MoE稀疏架构、三阶段分层预训练、DPO轻量化对齐四大核心技术突破，解决了传统大模型“推理强则成本高、速度快则精度差”的固有矛盾。
全系列完整覆盖端侧、本地私有化、云端API全算力档位，统一具备超长上下文、百种多语言、代码生成、智能体工具调用、结构化生产输出能力，Apache 2.0开源协议降低企业商用落地门槛。在数学、代码、长文档、多语言等核心评测达到开源模型第一梯队，是面向开发者、政企私有化部署、AI应用开发的通用高性能LLM底座。