月之暗面开放 Kimi K3 模型权重与技术报告，开源关键 Infra 技术加速 AGI 研究

【导语：昨日晚间，月之暗面在 Kimi K3 开放日宣布发布 Kimi K3 的模型权重、技术报告，并开源支撑其训练的关键 Infra 技术，旨在加速前沿智能部署与普及，促进 AGI 研究。】

2.8 万亿参数：Kimi K3 能力再升级

月之暗面本月中旬推出的 Kimi K3 是该公司迄今能力最强的模型，拥有 2.8 万亿参数，是 Kimi K2.5 参数规模的 3 倍左右。它是一个混合专家（MoE）模型，具备原生视觉理解能力，还支持 100 万 token 的上下文窗口。

四大技术细节：解锁 Kimi K3 高效建模秘诀

公开的 Kimi K3 技术报告中包含多项技术细节。在 KDA + AttnRes 方面，以 3:1 比例混合 KDA 与 Gated MLA，实现高效长上下文建模，同时通过块级注意力残差增强跨层信息流动。

Stable LatentMoE 让每个 token 从 896 个路由专家中激活 16 个，并通过 SiTU - GLU 与 Quantile Balancing 保持极高稀疏度下的训练稳定。MoonViT - V2 视觉编码器从零开始使用 next - token prediction 训练，无需对比预训练，达到 SigLIP 初始化基线效果且优化过程更稳定。后训练与评估则在通用推理、通用 Agent 和编程 Agent 三大领域进行大规模任务合成等。

三项 Infra 技术：覆盖关键链路提升训练效率

支撑 Kimi K3 训练的三项 Infra 技术分别为 MoonEP、FlashKDA 和 AgentEnv，覆盖从高性能通信、高性能算子到分布式 RL 环境的关键链路。其中 FlashKDA 此前已开源，MoonEP 和 AgentEnv 随本次发布正式开源。

MoonEP 是为超大的细粒度 MoE 打造的高性能通信库，能让专家并行的通信在不均衡情况下实现极致效率。FlashKDA 是 Kimi Delta Attention 高性能算子，在英伟达 H20 上，相比 flash - linear - attention 基线，prefill 速度提升 1.72 - 2.22 倍，可直接作为其替换后端。AgentEnv 是与 KVCache.ai 合作开发的沙箱系统，为 Kimi K3 后训练提供高保真、强隔离沙箱，能应对大规模并行的 Agent 工作流与训练任务。

编辑观点：月之暗面此次开放 Kimi K3 相关资源及开源关键技术，将降低获取智能的门槛，有望推动 AGI 研究发展，也为行业带来更多创新活力。