2.8 万亿参数 Kimi K3 技术报告：MoE 架构、KDA 注意力与百万 Token 上下文全解析

文章目录

• • 概述
  • 核心结果
  • • 编码能力
    • 通用与视觉智能体
  • 1 引言
  • 2 模型架构
  • • 2.1 混合注意力机制
    • • 2.1.1 Kimi Delta注意力（KDA）
      • 2.1.2 门控MLA
    • 2.2 注意力残差（AttnRes）
    • 2.3 稳定潜空间混合专家（Stable LatentMoE）
    • • 2.3.1 归一化潜空间MoE
      • 2.3.2 Sigmoid Tanh单元GLU（SiTU-GLU）
      • 2.3.3 分位数均衡（QB）
    • 2.4 原生视觉能力
    • 2.5 逐头Muon优化器
  • 3 预训练
  • • 3.1 预训练数据
    • 3.2 缩放法则
    • 3.3 训练方案
    • 3.4 长上下文扩展
  • 4 训练后流程
  • • 4.1 方法
    • • 4.1.1 监督微调（SFT）
      • 4.1.2 强化学习
      • 4.1.3 多教师同策略蒸馏（MOPD）
      • 4.1.4 部署感知的训练后流程
    • 4.2 RL任务合成与智能体环境
    • • 4.2.1 统一白盒RL环境
      • 4.2.2 知识图谱引导的任务合成
      • 4.2.3 智能体环境中的可验证问题
      • 4.2.4 内核优化任务
      • 4.2.5 个人助手任务
      • 4.2.6 自主执行任务
      • 4.2.7 网页开发任务
  • 5 基础设施
  • • 5.1 KDA的算法-系统协同设计
    • • 5.1.1 多场景KDA内核
      • 5.1.2 KDA上下文并行（KCP）
    • 5.2 3万亿级预训练基础设施
    • • 5.2.1 完美均衡的专家并行MoE训练
      • 5.2.2 内存高效训练
      • 5.2.3 多模态编码器优化
    • 5.3 百万token智能体RL基础设施
    • • 5.3.1 长上下文RL基础设施
      • 5.3.2 沙箱基础设施
    • 5.4 推理与在线服务
    • • 5.4.1 KDA感知的前缀缓存管理
      • 5.4.2 高性能内核
      • 5.4.3 集群级调度
  • 6 评测
  • • 6.1 核心结果
    • • 6.1.1 基准测试集
      • 6.1.2 基线模型
      • 6.1.3 评测配置
      • 6.1.4 结果
    • 6.2 内部评测
    • • 6.2.1 能力评测
      • 6.2.2 网络安全评测