大模型架构演进全景：2024-2026，从 Dense 到 MoE，从千亿到万亿

副标题：DeepSeek / Qwen / GLM / Kimi / Llama——五大家族的技术路线与架构设计思想

一、引子

如果你 2024 年初问我"大模型用什么架构"，答案很简单：Dense Transformer。Llama 3 是 Dense，Qwen2 是 Dense，GLM-4 是 Dense，连 GPT-4 在当时也被认为是 Dense。

到了 2026 年中，情况完全变了。每一家旗舰模型都是 MoE（混合专家）。但更关键的是，它们在 MoE 这个大框架下走出了完全不同的技术路线：

这篇文章把这些路线拆开来看：它们分别解决了什么问题？为什么选择了不同的技术？对开发者和用户意味着什么？

二、DeepSeek：从 MLA 到 CSA/HCA，把"长上下文"做透

2.1 前代回顾：V2 和 V3 打下的基础

DeepSeek 的架构进化线是五家里最连续、逻辑最清晰的。

DeepSeek V2（2024 年 5 月）做了两件影响深远的事：

一是提出了MLA（Multi-head Latent Attention，多头潜在注意力）。传统的 Multi-Query Attention（MQA）和 Grouped-Query Attention（GQA）通过减少 KV 头数来压缩 KV Cache，但 MLA 走了一条不同的路——它对 KV 做了低秩压缩，把完整的 KV 投影到一个低维的"潜在空间"，推理时只缓存这个潜在向量，需要时再解压。效果：KV Cache 暴降 70-80%，但精度几乎无损。

二是时隔三年重新把MoE（混合专家）带到公众视野。384 个专家，每 token 激活 6 个，236B 总参、21B 激活。它不是第一个做 MoE 的（Mixtral 8×7B 更早），但它是第一个在"大"规模上证明 MoE viable 的系统。

DeepSeek V3（2024 年 12 月）把 MoE 规模推到 671B 总参/37B 激活，256 个专家。V3 引入的Multi-Token Prediction（MTP）——训练时让模型一次预测多个未来 token——在后来的 V4 中被继承和强化。V3 在 2025 年初以极低的价格引发全球关注，某种意义上是中国大模型出海的标志性事件。

2.2 V4 的三大架构创新

2026 年 4 月发布的DeepSeek V4是一次从头重写的架构，核心变化集中在三处：

① 混合注意力：CSA + HCA

这是 V4 最大的卖点——彻底替换了 MLA。

• CSA（Compressed Sparse Attention）：把相邻的 4 个 KV token 压缩成 1 个"压缩条目"，然后用一个轻量级的 Lightning Indexer 做 top-k 检索（选择最相关的 1024 个压缩条目参与计算）。同时保留一个 128 的滑窗保证细粒度局部依赖。
• HCA（Heavily Compressed Attention）：更激进，128 个 token 压缩成 1 个，不做检索，全部参与计算，充当全局信息通道。

效果很直接：在 1M 上下文下，V4 Pro 的单 token 推理 FLOPs 只有 V3.2 的27%，KV Cache 只有10%。这等于把"百万上下文跑不起"这个问题从工程层面解决了。

所以 DeepSeek 的核心判断是：传统 Attention 的 O(n²) 复杂度是长上下文的根本障碍，MLA 能压 KV Cache 但压不了 FLOPs——必须改注意力机制本身。

② mHC（Manifold-Constrained Hyper-Connections）

残差连接的一个升级版。把残差流的宽度从d扩展到4d，用三个可学习的线性变换（A/B/C）在 Attention/FFN 子层周围做"混合"。关键是B矩阵被约束为双随机矩阵（Sinkhorn-Knopp 迭代实现），确保了光谱范数 ≤ 1——不会梯度爆炸，信号不会消失。工程开销通过融合 kernel 控制在 ~7%。

③ Muon 优化器

首次在万亿级 MoE 上部署 Muon——它没有用 AdamW 那种逐元素的二阶矩估计，而是通过 Newton-Schulz 迭代做权重的（近似）正交化。它让 V4 在 32T+ token 的训练中保持了稳定。虽然在大模型圈子外讨论不多，但 Muon 是 2025-2026 最值得关注的训练算法创新之一。

三、Qwen：从"全家桶"到 MoE，激活参数压到极致

3.1 前代回顾：Qwen2 的 Dense 矩阵

Qwen 系列的特点是覆盖面极广。Qwen2 和 Qwen2.5（2024）发布了从 0.5B 到 72B 的数十款 Dense 模型，全部开源。它没有做 MoE，就是把 Dense 做到极致——2.5 的 72B 在当时是同尺寸下的开源 SOTA。

3.2 Qwen3：全线 MoE 化

2025 年 4 月，Qwen3 做了两个关键决定：

第一，MoE 化。两款 MoE 模型：235B 总参/22B 激活（云端旗舰）和 30B 总参/3.3B 激活（PC/边缘），128 专家、每 token 激活 8 个。同时保留了 6 款 Dense 模型（0.6B-32B）覆盖端侧场景。

第二，混合推理。这是 Qwen3 区别于其他家的特色——同一个模型可以切换"思考模式"和"非思考模式"，不需要加载两个模型。在简单问题上快答，在复杂问题上推理。

3.3 Qwen3.5/3.6：Gated DeltaNet——条新路

真正有意思的是 2026 年的升级。

在大家都在做稀疏注意力（DeepSeek、GLM）的时候，Qwen 选择了另一条路：用线性注意力替代 Transformer 注意力的一部分。

Gated DeltaNet是一种复杂度 O(n) 的线性注意力机制。它不是"近似"Softmax 注意力，而是一种完全不同注意力计算方法——通过门控机制和增量更新来建模序列依赖。Qwen3.5-Plus（397B 总参/17B 激活）在 60 层网络中，部分层用 Gated DeltaNet，关键层保留 Softmax 注意力。

效果：解码吞吐量是 Qwen3-Max 的8.6 倍（32K 上下文）到19 倍（256K 上下文）。

Qwen3.6（35B/3B，256 专家）进一步将这套混合注意力压缩到更小的激活参数上。

Qwen 的核心判断和 DeepSeek 不同：DeepSeek 认为瓶颈在注意力复杂度（O(n²)），所以做稀疏化；Qwen 认为瓶颈在计算效率，所以用线性注意力替换。两条路目前看来都走得通。

四、GLM：从科研探索到"Agent 原生"设计

4.1 前代回顾：GLM 的独特基因

GLM（General Language Model）在架构上是五家里最有"学院派"基因的。它的早期版本（GLM-130B，2022）选择了Prefix 架构——不是标准的 Decoder-only，而是将输入分成"前缀"和"生成"两部分，前缀的 attention 是双向的，生成部分是单向的。这套设计在后来的 GLM-4 中被逐步标准化为 Decoder-only（2024 年初的 GLM-4 系列已经是标准 Decoder）。

GLM-4 系列在 2024 年覆盖了从端侧到云端的多个尺寸，但一直没有做大参数量。GLM-4.5（355B）才真正开始冲击旗舰。

4.2 GLM-5：744B MoE + DSA 稀疏注意力

2026 年 2 月发布的 GLM-5 是智谱最大胆的一次跳升：

• 744B 总参、40B 激活——从 355B 直升到 744B
• 256 个专家、每 token 激活 8 个
• 80 层层数——比一般 MoE 少，降低通信开销
• 上下文窗口 202,752 tokens——一个奇怪的数字，对应于 198×1024

架构上的两个新东西：

① DSA（DeepSeek Sparse Attention）

名字直白——就是 DeepSeek V3 论文里提出的稀疏注意力方案。通过动态 top-k 选择最相关的 KV token 参与计算，KV Cache 降低 75%，推理速度提升 3 倍，长文本性能下降 < 0.5%。

② Agentic Engineering 成为训练目标

GLM-5 明确宣称自己是"为 Agent 设计"的模型。后训练的四个阶段中有专门的Agentic RL 阶段——用超过 10,000 个真实软件工程任务做强化学习。它在 SWE-bench Verified 上拿到77.8%，是开源 SOTA。

GLM-5.2（2026 年 6 月）更进一步，扩展到 1M 上下文，并以 MIT 协议开源。

GLM 的态度很务实：注意力方案不需要自己发明（直接用 DeepSeek 的），把精力放在后训练和 Agent 能力上。这和它的对手们形成有趣对比。

五、Kimi（月之暗面）：万亿参数走 Agent Swarm 路线

5.1 前代回顾：K1 用 Long Context 打了个标签

月之暗面在 2024 年的存在感来自一个独特定位——长上下文。当所有模型还在 128K 挣扎时，Kimi 已经在宣传"200 万字上下文"。K1 系列（2025 年初）是推理模型，通过强化学习在数学、代码等任务上展示长上下文推理能力。

5.2 K2：1T MoE 横空出世

2025 年 7 月，Kimi K2 发布，1T 总参/32B 激活，384 专家×8，MLA 注意力——这是当时最大的开源 MoE 权重。和 DeepSeek V3 类似，它用了 MLA 来压 KV Cache，单从架构看和 DeepSeek V3 属于"同代"。

但 Kimi 的差异化在两个地方：

① 自研优化器 MuonClip

在 DeepSeek V4 用 Muon 之前，Kimi 已经在 K2 的训练中验证了类似的优化器方案。MuonClip 解决了万亿参数训练中的"爆炸注意力 logits"问题——训练过程中注意力分数会突然崩掉，MuonClip 通过裁剪梯度异常值来防止。

② Agent Swarm——从单模型到多智能体

这是 Kimi 最独特的路线。从 K2.5（2026 年 1 月）开始，Kimi 内置了Agent Swarm的能力——单次推理可以协调 100 个子代理并行工作。K2.6 扩展到300 个子代理、4000 步协调。

这个设计的思路是：模型本身只是"大脑"，真正的能力来自成百上千个模型实例的协同。这是所有大模型公司里对 Agent 最激进的理解。

K2.7 Code（2026 年 6 月）进一步在代码场景做了专项优化，思维 token 减少约 30%，同时推出了 Kimi Code 终端 Agent。

六、Llama：从开源标杆到方向摇摆

6.1 Llama 3：Dense 路线的巅峰时刻

Llama 3（2024 年 4 月）在发布时是对 OpenAI 闭源体系的最强挑战。8B、70B、405B 三款模型全部 Dense，全部开源。405B 的 128K 上下文在当时是最强的开源旗舰。

Llama 3.1（2024 年 7 月）进一步优化了 405B 的训练和推理效率。站在 2024 年的节点，Llama 3 代表了 Dense 路线的天花板——405B 已经是"在合理预算内能训练的 Dense 模型的极限"。

6.2 Llama 4：MoE 转型 + 多模态，但有点仓促

2025 年 4 月的 Llama 4 是一次大转向：

① MoE 化：Scout（109B/17B，16 专家）、Maverick（400B/17B，128 专家）——从 Dense 全线转向 MoE。

② Early Fusion 多模态：和之前用独立 vision adapter 的路子不同，Llama 4 从预训练阶段就把文本和图像放在统一的空间里训练。这在思路上是正确的，但实测效果没有官方报告那么理想。

③ iRoPE + 超长上下文：Scout 原生 192K，实验性支持到 10M token。

但是 Llama 4 的发布过程比较混乱。第三方评测显示 Maverick 在部分基准上的表现低于官方声称的数值，引发了"评测优化"的争议。Meta 后续的内部调整（AI 部门重组、首席科学家 Yann LeCun 边缘化）使问题更加复杂。

2026 年 1 月发布的Behemoth（~2T 总参、~288B 激活）仅作为研究预览，没有开源。2026 年 4 月，Meta 宣布开源战略转向闭源，后续旗舰更名为Muse Spark——Llama 的开源时代结束了。

Llama 的故事是一个警示：即使是资源最雄厚的公司，在架构转型期也可能走不稳。MoE 转型不是搭积木，需要训练和推理的全面适配。

七、横向对比：五条技术路线的核心分歧

7.1 MoE 全面化——但"怎么分专家"各不相同

所有旗舰都是 MoE，但专家配置差异很大：

激活参数/总参数的比例从 2024 年 Mixtral 的 ~25% 降到了现在的 ~2-5%（Llama 4 Maverick 只有 4%：17B/400B）。模型越来越"稀疏"，总参数可以随便加，但每次推理只激活一小部分。这是过去两年最核心的架构趋势。

同样重要的是"共享专家"——除了路由专家外，所有旗舰都加了 1-2 个共享专家（所有 token 都经过它）。这相当于在 MoE 的"每个 token 各走各路"和 Dense 的"所有 token 都过同一层"之间做了折中。

7.2 注意力架构——三条路线

这是 2026 年最精彩的分歧：

GLM-5 直接复用 DeepSeek 的稀疏注意力，算是"站在巨人肩膀上"。Qwen 走线性注意力路线的风险更大但差异化也更明显。DeepSeek 的 CSA/HCA 是目前最"精致"的方案。

7.3 优化器——Muon 来了，AdamW 还在

2024 年所有模型都用 AdamW。2025-2026 年Muon及其变种开始挑战：

Muon 的核心洞察是：大模型训练中，权重的"方向"比"步长"更重要。AdamW 用二阶矩估计小心翼翼地调步长，但 Muon 直接做正交化——每一步都让权重矩阵的行/列尽量正交。这在大规模 MoE 上似乎效果显著，但尚未成为绝对共识。

7.4 Agent 能力——从"能用"到"架构原生支持"

2025 年的模型 Agent 能力靠后训练（SFT/RL 教它用工具）。2026 年，Agent 能力开始进入架构设计：

• GLM-5明确说自己是"为 Agent 设计的模型"，训练流程中专设 Agentic RL 阶段
• Kimi K2.5+直接在推理层支持 Agent Swarm——数百个模型实例协同工作
• DeepSeek V4的 OPD 蒸馏流程覆盖了 agent 场景

这个趋势很清晰：未来的模型面试题不是"你能做 Agent 吗"，而是"你的架构有多适合做 Agent"。

7.5 上下文长度——128K 是起点，1M 是标配

两年前 128K 还是"长上下文"。现在：

DeepSeek V4 的 1M 最实用——不是"技术上能跑"，而是"在合理成本下能跑"。GLM-5.2 紧随其后。Qwen 和 Kimi 停留在 256K，但都声称可以扩展到 1M。

八、总结：我们该怎么看这些架构差异？

几条明确趋势

1. MoE 已经是唯一答案。2026 年没有一家旗舰是 Dense 的。未来你可能看不到新的 100B+ Dense 模型了。

2. 注意力架构进入"后 Transformer"探索期。MLA、稀疏注意力、线性注意力——三路并进，目前没有绝对胜者。这意味着未来 1-2 年模型架构还会快速变化。

3. Agent 能力成为新一代模型的核心竞争力。"模型有多聪明"之外，"模型有多擅长使用工具和协同"正在成为新的衡量标准。

对开发者的实际意义

如果你在选型：

如果你在研究架构：

这五家公司的技术路线选择，反映的是对同一个问题的不同判断：“大模型的下一个瓶颈在哪？”

• DeepSeek 说注意力复杂度 → 改 Attention
• Qwen 说计算效率 → 换线性注意力
• GLM 说 Agent 能力 → 强化后训练
• Kimi 说单模型不够 → 搞多智能体
• Llama 说多模态 → 从零融合

没有绝对的对错——它们只是押注了不同的方向。但对于我们这些观察者和使用者来说，没有比这更好的时代了：五条路线同时推进，无论哪条跑通，最终受益的都是生态。

附录：五家最强版本的开源状态与能力对比

开源状态

唯一例外是 Llama 4 Behemoth——Meta 在 2026 年 4 月宣布开源转闭源，Behemoth 仅作为研究预览，未开放权重。其余四家全部开源了最强版本。前 10 大开源权重模型中有 9 个来自中国公司，这已经是 2026 年的新常态。

注：Qwen 系列目前最强的是 2026 年 5 月发布的Qwen 3.7 Max（Apache 2.0），比 Qwen 3.5/3.6 更强；GLM-5.2 于 2026 年 6 月发布，进一步提升了 SWE-bench Pro 等长代码任务的表现。

能力基准对比

数据来源为各家官方模型卡及独立评测（2026 年 5-6 月）：

性价比对比（每百万 token 价格）

DeepSeek V4 的极致低价来自稀疏注意力（FLOPs 降到 V3 的 27%），直接转换成了推理成本优势。V4-Flash 版本（284B/13B 激活）在 SWE-bench 上仍有 79.0%，但价格只有 Pro 的 1/3。

怎么选？

开源 vs 闭源：差距到底有多大？

把当前最强的三款闭源模型（Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro）和开源旗舰放在一起看：

† GPT-5.5 和 Gemini 3.1 Pro 的 GPQA 分数因评测配置不同差异较大，此处取统一口径值。

关键发现：

结论已经很明确了：2026 年的开源模型和闭源模型的差距，已经从"能不能用"缩小到了"好一点和更好一点"的差别。对于 90% 的实际应用场景，开源模型的性能已经足够，而成本优势是决定性的。

• 但代码类型决定优势——短期修复（SWE-bench Verified）各家差不多，长任务（SWE-bench Pro）GLM-5.2 明显领先
• Llama 4 已经被全面超越——Maverick 发布超过一年未更新，和 2026 年新模型的差距是全方位的