CANN具身智能优化样例

CANN Recipes for Embodied Intelligence

【免费下载链接】cann-recipes-embodied-intelligence本项目针对具身智能业务中的典型模型、加速算法，提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-embodied-intelligence

🚀 Latest News

• [2026/04] Hunyuan3D 2.0 三维生成与渲染模型在昇腾Atlas A2上推理已支持，增加dit-cache方案优化，样例已开源。
• [2026/04] PI0模型支持在昇腾Atlas A2上训练，样例已开源。
• [2026/04] SmolVLA模型支持在昇腾Atlas A2上训练，样例已开源。
• [2026/04] ACT模型支持在昇腾Atlas A2上训练，样例已开源。
• [2026/04] Pi0.5模型在昇腾Ascend 310P上已支持OM静态图推理部署，样例已开源。
• [2026/03] LQC模型在昇腾 A2上已支持训练和推理，样例已开源。
• [2026/03] Pi0.5模型在昇腾Ascend 310P上已支持在线推理部署，样例已开源。
• [2026/02] Isaac-GR00T N1.6模型在昇腾Atlas A3上已支持推理，样例已开源。
• [2026/02] Cosmos-Predict2.5-2B世界模型在昇腾Atlas A3上已支持推理，样例已开源。
• [2026/02] Cosmos-Transfer2.5-2B世界模型在昇腾Atlas A3上已支持推理，样例已开源。
• [2026/02] Alpamayo-R1智驾模型在昇腾Atlas A2上已支持推理，样例已开源。
• [2026/01] Spirit v1.5模型在昇腾Ascend 310P上已支持推理，样例已开源。
• [2025/12] Pi0模型在昇腾Ascend 310P上已支持推理，样例已开源。
• [2025/12] OpenVLA模型在昇腾Ascend 310P上已支持推理，样例已开源。
• [2025/12] DiffusionPolicy模型在昇腾Ascend 310P上已支持推理，样例已开源。
• [2025/12] ACT模型在昇腾Ascend 310P上已支持推理，样例已开源。
• [2025/11] Pi0模型在昇腾Atlas A2系列上已支持推理，代码已开源。

🎉 概述

cann-recipes-embodied-intelligence 仓库针对具身智能领域的典型模型和加速算法，提供基于 CANN 平台的优化样例。本仓库旨在帮助开发者快速、高效地在昇腾平台上部署和优化具身智能模型，降低开发门槛，加速应用落地。

核心特性：

• 覆盖操作类（Manipulation）、世界模型（World Model）、导航（Navigation）、运动控制（Locomotion）、3D视觉（3D Vision）等典型场景
• 提供训练、在线推理、离线推理（OM）等多种样例
• 包含性能优化指南和精度验证方案

✨ 样例列表

操作类模型 (Manipulation)

场景特点：操作类模型专注于机器人手臂的运动控制与任务执行，解决抓取、放置、组装等精细操作问题。这类模型通常接收视觉观测和语言指令作为输入，输出机器人的动作序列（如关节角度、末端位姿等），适用于工业装配、家庭服务、实验室自动化等场景。

世界模型 (World Model)

场景特点：世界模型通过学习物理世界的规律，能够预测或生成未来场景的视频内容。这类模型支持文本/图像/视频等条件输入，生成符合物理一致性（如重力、碰撞、流体动力学）的视频预测，可用于策略评估、合成数据生成、闭环仿真等任务，帮助机器人系统在虚拟环境中预演和验证行为决策。

导航模型 (Navigation)

场景特点：导航模型聚焦于移动机器人或自动驾驶系统的路径规划与决策问题。这类模型融合视觉感知、环境理解和运动预测能力，在复杂动态环境中规划安全、高效的行驶路径，适用于自动驾驶、无人机导航、移动机器人避障等场景。

运动控制模型 (Locomotion)

场景特点：运动控制模型解决足式机器人（如人形机器人、四足机器人）的运动协调与平衡控制问题。这类模型基于强化学习训练，学习在不同地形条件下保持稳定行走、奔跑、跳跃等运动模式，适用于人形机器人巡检、四足机器人物流配送、救援探索等场景。

3D视觉模型 (3D Vision)

场景特点：3D视觉模型专注于从二维图像或文本描述生成高质量三维资产（如网格模型、纹理贴图等）。这类模型广泛应用于数字孪生、虚拟现实、游戏开发、建筑设计等领域，能够快速生成可编辑、可渲染的3D内容，显著降低传统建模的时间成本。

🏃 一站式平台快速体验

「一站式平台」是为开发者提供的 NPU 环境，内部已集成完整的 CANN 环境，可以直接使用。cann-recipes-embodied-intelligence 针对该平台在相应样例 README 中提供了简化的「快速启动」路径，帮助用户最小步骤完成 NPU 推理体验。当前支持的模型正在持续扩展中，敬请关注：

📖 目录结构说明

├─CONTRIBUTION.md ├─DISCLAIMER.md ├─LICENSE ├─README.md ├─Third_Party_Open_Source_Software_Notice ├─docs # 文档目录 │ ├─manipulation # 操作类模型文档目录 │ │ └─pi0 # Pi0相关文档 │ │ └─infer_with_torch │ └─3d_vision # 3D视觉模型文档目录 │ └─Hunyuan3D # Hunyuan3D相关文档 ├─manipulation # 操作类模型目录 │ ├─act # Action Chunking with Transformers模型样例 │ │ ├─infer_with_om # ACT模型om离线推理样例 │ │ └─train # ACT模型训练样例 │ ├─diffusion-policy # DiffusionPolicy模型样例 │ │ └─infer_with_om # DiffusionPolicy模型om离线推理样例 │ ├─openvla # OpenVLA模型样例 │ │ └─infer_with_om │ ├─pi0 # Pi0模型样例 │ │ ├─infer_with_om # Pi0模型离线推理样例 │ │ ├─infer_with_torch # Pi0模型torch推理样例 │ │ └─train # Pi0模型训练样例 │ ├─pi05 # Pi0.5模型样例 │ │ ├─infer_with_om # Pi0.5模型离线推理样例 │ │ ├─infer_with_torch # Pi0.5模型在线推理样例 │ │ └─train # Pi0.5模型训练样例 │ ├─smolvla # SmolVLA模型样例 │ │ └─train # SmolVLA模型训练样例 │ ├─Isaac-GR00T # Isaac-GR00T N1.6模型样例 │ └─spirit-v1.5 # Spirit v1.5模型样例 │ └─infer_with_torch ├─world_model # 世界模型目录 │ ├─cosmos-predict2.5 # Cosmos-Predict2.5-2B世界模型 │ └─cosmos-transfer2.5 # Cosmos-Transfer2.5-2B世界模型 ├─navigation # 导航模型目录 │ └─alpamayo-r1 # Alpamayo-R1智驾模型样例 ├─locomotion # 运动控制模型目录 │ └─LQC # Learning-based Quadruped Robot Controller运动控制模型 └─3d_vision # 3D视觉模型目录 └─Hunyuan3D # Hunyuan3D 2.0三维生成模型样例

📝 相关信息

• 贡献指南

• 许可证

  cann-recipes-embodied-intelligence仓涉及的模型，如模型目录下存在License的以该License为准。如模型目录下不存在License的，遵循Apache 2.0许可证。

• 免责声明

【免费下载链接】cann-recipes-embodied-intelligence本项目针对具身智能业务中的典型模型、加速算法，提供基于CANN平台的优化样例项目地址: https://gitcode.com/cann/cann-recipes-embodied-intelligence