WAM-202512：Motus架构分析【MoT、UniDiffuser 风格的调度器支持在多种建模模式之间灵活、利用光流（Optical Flow） 学习潜在动作（Latent Actions）】

Motus 模型架构详细分析

基于论文 Motus: A Unified Latent Action World Model 与项目源码的综合分析

目录

• Motus 模型架构详细分析
  • 目录
  • 1. 总体概述
  • 2. 整体架构总览
  • 3. 三大专家模块详解
    • 3.1 视频生成专家 (Video Generation Expert / VGM)
    • 3.2 理解专家 (Understanding Expert)
    • 3.3 动作专家 (Action Expert)
  • 4. Mixture-of-Transformers (MoT) 三模态联合注意力
    • 每层计算流程
    • 技术实现细节
  • 5. 训练与推理机制
    • 5.1 Flow Matching 训练
    • 5.2 ODE 推理去噪
  • 6. 数据金字塔与三阶段训练流水线
    • 六层数据金字塔
    • 三阶段训练流水线
  • 7. 五种建模模式切换
  • 8. 关键设计细节与创新点
    • 8.1 架构层面
    • 8.2 训练层面
    • 8.3 数据层面
    • 8.4 推理层面
  • 9. 参数统计
  • 总结
  • 附录 A: WAN 自注意力 MoT 修改详解
    • A.1 原生 WAN 自注意力
    • A.2 MoT 修改后的自注意力
  • 附录 B: 项目代码结构
  • 附录 C: 完整数据流示例 (训练步)
  • 附录 D: 关键超参数汇总

1. 总体概述

Motus 是一个统一的潜在动作世界模型（Unified Latent Action World Model），由清华大学机器学习研究组（thu-ml）提出。其核心理念是：通用具身智能体应当作为一个统一系统运行，而非由理解、世界建模和控制等孤立模型拼凑而成。Motus 通过以下关键创新解决了当前方法的碎片化问题：

• Mixture-of-Transformers (MoT)架构，将三个专家模块整合到统一的自注意力框架中
• UniDiffuser 风格的调度器，支持在多种建模模式之间灵活切换
• 利用光流（Optical Flow）学习潜在动作（Latent Actions），提取像素级 “delta action”
• 三阶段训练流水线+六层数据金字塔，实现大规模动作预训练

实验结果表明，Motus 在仿真环境中比 X-VLA 提升 15%，比 π₀.₅ 提升 45%，在真实场景中提升 11%~48%。

2. 整体架构总览

Motus 由三个核心专家模块组成，通过30 层统一的 MoT 联合自注意力层进行深度融合：

3. 三大专家模块详解

3.1 视频生成专家 (Video Generation Expert / VGM)

基础模型: Wan2.2-TI2V-5B（约 50 亿参数）

核心组件: