文章目录
- LingBot-VLA 2.0 技术解析:6 万小时炼成的跨实体机器人通用大脑
- 一、背景:具身智能的 VLA 范式
- 1.1 从感知到动作的演进
- 1.2 VLA 模型的核心挑战
- 1.3 LingBot-VLA 的定位
- 二、技术架构
- 三、训练数据:6 万小时的"机器人大脑"
- 3.1 数据构成
- 3.2 为什么需要第一人称人类数据
- 3.3 跨实体覆盖
- 四、跨实体机制
- 4.1 统一动作空间
- 4.2 跨实体学习的关键技术
- 4.3 为什么 MoE 架构适合 VLA
- 五、性能与基准
- 5.1 基准测试表现
- 5.2 与其他 VLA 方案对比
- 六、部署方案
- 6.1 硬件要求
- 6.2 部署流程
- 6.3 机器人适配
- 七、与同类模型的横向对比
- 八、未来展望
- 8.1 VLA 模型的发展趋势
- 8.2 LingBot-VLA 的行业意义
- 九、总结
LingBot-VLA 2.0 技术解析:6 万小时炼成的跨实体机器人通用大脑
2026 年 7 月 8 日,蚂蚁集团旗下具身 AI 子公司 Robbyant(灵波)开源了LingBot-VLA 2.0——一个 6B 参数的视觉-语言-动作(Vision-Language-Action)基础模型。与以往的机器人模型不同,这个"机器人大脑"不需要针对每种机器人重新训练,而是用 6 万小时真实物理世界数据训练出一个统一的动作空间,直接覆盖 17 家厂商的 20 多种机器人构型。从双足人形到机械臂、从移动底盘到无人机,一个模型统一操控。本文将从技术架构、训练数据、跨实体机制、部署方案等维度进行深度技术解析。
亲爱的朋友们,创作不容易,若对您有帮助的话,请点赞收藏加关注哦,您的关注是我持续创作的动力,谢谢大家!有问题请私信或联系邮箱:jason.fn@gmail.com
![]()
一、背景:具身智能的 VLA 范式
1.1 从感知到动作的演进
| 阶段 | 技术 | 能力 | 局限 |
|---|
| 感知层(2010s) | 图像分类、目标检测 | 看懂场景 | 不能操作 |
| 理解层(2020s 初) | VLM(视觉-语言模型) | 看懂 + 对话 | 仍然不能操作 |
| 策略层(2023-2025) | 行为克隆、模仿学习 | 能执行固定任务 | 每类机器人需单独训练 |
| 基础模型层(2025-2026) | VLA(视觉-语言-动作模型) | 看懂 + 对话 + 操作 | 跨实体泛化是最大挑战 |
1.2 VLA 模型的核心挑战
VLA 模型的目标是:输入摄像头图像 + 语言指令 → 输出机器人动作。听起来简单,但每个环节都有深坑:
| 挑战 | 说明 |
|---|
| 跨实体(Cross-Embodiment) | 不同机器人的关节数量、自由度、传感器配置完全不同,如何用一个模型操控? |
| 数据规模 | 机器人操作数据获取成本极高(遥操作采集),需要多少小时才能达到"泛化"? |
| 动作空间统一 | 双足、轮式、机械臂、无人机……如何用统一的动作表示? |
| 实时性 | 推理延迟必须控制在 10-30Hz 才能流畅操控机器人 |
| 物理世界鲁棒性 | 训练数据中的光照、物体、场景与实际部署环境可能完全不同 |
1.3 LingBot-VLA 的定位
Robbyant 的 LingBot 系列在 2026 年 1 月发布了 1.0 版本,7 月的 2.0 版本是一次全面升级。整个项目族包括:
| 模型 | 功能 | 用途 |
|---|
| LingBot-VLA 2.0 | 视觉-语言-动作基础模型 | 统一操控多类型机器人 |
| LingBot-Depth | 深度估计 | 空间感知 |
| LingBot-World | 世界模型 | 物理世界预测 |
| LingBot-VA | 视觉-动作自回归模型 | 轻量级操作 |
| LingBot-Map | 流式 3D 重建 | 环境建模 |
| LingBot-Video | 视频基础模型 | 多场景动态生成 |
二、技术架构
2.1 整体架构
┌──────────────────────────────────────────────────────────┐ │ 输入层 │ │ ┌──────────────────┐ ┌──────────────────┐ │ │ │ 摄像头图像 │ │ 语言指令 │ │ │ │ (RGB / Depth) │ │ ("拿起红色杯子") │ │ │ └────────┬─────────┘ └────────┬─────────┘ │ ├───────────┼─────────────────────┼────────────────────────┤ │ ▼ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 视觉编码器(Vision Encoder) │ │ │ │ SigLIP / ViT │ │ │ │ 将多视角图像编码为视觉 Token │ │ │ └────────────────────┬───────────────────────┘ │ ├───────────────────────┼───────────────────────────────────┤ │ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 语言-视觉融合层(LLM Backbone) │ │ │ │ 6B MoE 架构 │ │ │ │ 将视觉 Token 与语言 Token 融合 │ │ │ │ 输出包含环境理解 + 意图理解的联合表征 │ │ │ └────────────────────┬───────────────────────┘ │ ├───────────────────────┼───────────────────────────────────┤ │ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 动作解码器(Action Decoder) │ │ │ │ 输出统一动作空间的 Token 序列 │ │ │ │ 支持 7-DoF / 双臂 / 全身控制 │ │ │ └────────────────────┬───────────────────────┘ │ ├───────────────────────┼───────────────────────────────────┤ │ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 动作执行层(Robot Controller) │ │ │ │ 将统一动作映射到具体机器人的关节控制 │ │ │ │ 逆运动学 / 关节空间控制 │ │ │ └────────────────────────────────────────────┘ │ └──────────────────────────────────────────────────────────┘
2.2 模型规格
| 参数 | 值 | 说明 |
|---|
| 模型名称 | lingbot-vla-v2-6b | 6B “native depth” checkpoint |
| 参数量 | 6B(60 亿) | MoE 架构,激活参数更少 |
| 架构类型 | MoE(混合专家) | 每次推理仅激活部分专家网络 |
| 视觉编码器 | SigLIP / ViT | 多视角图像编码 |
| LLM 主干 | 自研 6B 语言模型 | 视觉-语言融合 + 动作生成 |
| 输入模态 | RGB 图像 + 深度图 + 文本指令 | 多模态融合 |
| 输出 | 统一动作空间的 Token 序列 | 自回归生成动作 |
| 推理频率 | 10-30 Hz | 满足实时控制需求 |
三、训练数据:6 万小时的"机器人大脑"
3.1 数据构成
| 数据类型 | 时长 | 来源 | 用途 |
|---|
| 真实交互轨迹 | 50,000 小时 | 跨 20 种机器人构型的真实遥操作采集 | 多构型泛化 |
| 第一人称人类操作 | 10,000 小时 | 人类头戴摄像头执行日常操作 | 跨实体迁移 |
| 合计 | 60,000 小时 | — | — |
3.2 为什么需要第一人称人类数据
这是 LingBot-VLA 2.0 的一个关键设计。人类数据的作用是实现跨实体迁移:
人类双手操作(10,000 小时) │ ├── 提供通用的"操作常识" │ ├── 物体如何被抓取 │ ├── 工具如何被使用 │ └── 空间关系如何被理解 │ └── 迁移到机器人 ├── 双足机器人:从双臂操作映射到全身 ├── 机械臂:从人类手臂映射到机械臂 └── 移动底盘:从人类行走映射到导航
3.3 跨实体覆盖
LingBot-VLA 2.0 支持17 家机器人厂商的20 多种构型:
| 构型类别 | 示例 | 典型自由度 |
|---|
| 双足人形 | Unitree H1 / G1、Agibot 等 | 全身 20-40 DoF |
| 单臂机器人 | 标准 6-7 DoF 机械臂 | 6-7 DoF |
| 双臂机器人 | 双臂协作平台 | 12-14 DoF |
| 轮式移动 + 臂 | 移动底盘 + 机械臂 | 10-20 DoF |
| 四足 + 臂 | 机器狗 + 机械臂 | 12-20 DoF |
四、跨实体机制
4.1 统一动作空间
不同机器人的关节数量和运动范围差异巨大。LingBot-VLA 2.0 的核心创新之一是统一动作空间的设计:
统一动作空间(Unified Action Space) │ ├── 关节角 Token(Joint Angle Tokens) │ ├── 归一化到 [-1, 1] 范围 │ ├── 不存在的关节用特殊 Token 填充 │ └── 模型学会忽略无关关节 │ ├── 末端位姿 Token(End-Effector Pose Tokens) │ ├── 6-DoF 位姿(x, y, z, roll, pitch, yaw) │ └── 适用于所有带末端执行器的机器人 │ ├── 夹爪 Token(Gripper Tokens) │ └── 开/关状态 │ └── 移动基座 Token(Base Motion Tokens) └── 适用于带移动底盘的机器人
4.2 跨实体学习的关键技术
| 技术 | 作用 | 原理 |
|---|
| 动作掩码(Action Masking) | 让模型忽略当前机器人不支持的自由度 | 对不存在的关节维度应用 mask |
| 形态嵌入(Morphology Embedding) | 告知模型当前操作的是哪种机器人 | 为每种构型分配独特的 embedding |
| 端到端联合训练 | 所有构型共享同一个模型权重 | 不针对单一构型微调 |
| 第一人称迁移 | 人类操作数据 → 机器人操作 | 通过视觉-动作对齐实现跨实体 |
4.3 为什么 MoE 架构适合 VLA
LingBot-VLA 2.0 采用MoE(Mixture of Experts)架构,这对跨实体任务有天然优势:
| 优势 | 说明 |
|---|
| 专家分工 | 不同专家可以专注于不同构型/任务 |
| 计算效率 | 6B 总参数,每次推理只激活一小部分,满足实时性 |
| 知识隔离 | 人类操作知识和机器人操作知识可以分配到不同专家 |
| 可扩展性 | 新构型可以训练新专家,不影响已有专家 |
五、性能与基准
5.1 基准测试表现
| 基准 | LingBot-VLA 2.0 | 对比模型 |
|---|
| 泛化操控任务 | 超越 π0.5 | Google π0.5(7B) |
| 跨实体迁移 | 20+ 构型直接可用 | 多数方案需单独训练 |
| 推理延迟 | 10-30 Hz | 满足实时控制 |
| 训练数据规模 | 60,000 小时 | 远超同类开源方案 |
注:具体数值因任务和部署环境而异,以上为相对表现。
5.2 与其他 VLA 方案对比
| 方案 | 参数量 | 开源 | 跨实体 | 训练数据 | 厂商支持 |
|---|
| LingBot-VLA 2.0 | 6B MoE | ✅ | ✅ 20+ 构型 | 60,000 小时 | 17 家厂商 |
| π0 / π0.5 | 7B | ❌ | ✅ | undisclosed | 内部 |
| OpenVLA | 7B | ✅ | ⚠️ 有限 | 开源数据集 | 社区 |
| RT-2 | 55B | ❌ | ✅ | undisclosed | 内部 |
| Gr00t | — | ✅ | ✅ | — | NVIDIA 生态 |
六、部署方案
6.1 硬件要求
| 组件 | 最低配置 | 推荐配置 |
|---|
| GPU | RTX 4090(24GB) | 双 RTX 4090 / A100 |
| CPU | 8 核 | 16 核+ |
| 内存 | 32 GB | 64 GB+ |
| 存储 | 50 GB SSD | 200 GB NVMe |
6.2 部署流程
# 1. 克隆仓库gitclone https://github.com/robbyant/lingbot-vla-v2.gitcdlingbot-vla-v2# 2. 安装依赖pipinstall-rrequirements.txt# 3. 下载模型权重# 从 Hugging Face 或 ModelScope 下载 lingbot-vla-v2-6b# 4. 运行推理python demo.py\--modellingbot-vla-v2-6b\--robot<robot_type>\--camera<camera_config>\--instruction"拿起桌子上的红色杯子"# 5. 实时控制循环(伪代码)whileTrue: image=camera.capture()# 获取当前帧action=model.predict(image, instruction)# 预测动作robot.execute(action)# 执行动作time.sleep(1/30)# 30Hz 控制频率
6.3 机器人适配
Robbyant 提供了机器人配置模板,每种构型对应一个配置文件:
# robots/unitree_g1.yamlrobot_type:humanoidembodiment_id:unitree_g1dof:36joint_names:[left_hip_yaw,left_hip_roll,left_hip_pitch,...]action_dim:36camera_config:-name:head_rgbtype:rgb-name:head_depthtype:depth-name:wrist_rgbtype:rgb
七、与同类模型的横向对比
7.1 技术路线对比
| 维度 | LingBot-VLA 2.0 | π0 / π0.5 | OpenVLA |
|---|
| 架构 | MoE(6B 总参,激活更少) | Dense(7B) | LLM fine-tune(7B) |
| 训练范式 | 真实遥操作 + 第一人称人类数据 | 真实遥操作 | 开源数据集 |
| 跨实体 | 原生支持 20+ 构型 | 支持但需配置 | 有限 |
| 开源 | ✅ 模型 + 代码 | ❌ | ✅ 代码 |
| 部署门槛 | 中等(单卡可跑) | 不公开 | 中等 |
| 推理速度 | 10-30 Hz | — | 5-15 Hz |
| 生态 | Robbyant 全家桶 | Google DeepMind | 社区驱动 |
7.2 适用场景决策树
需要机器人操控模型? │ ├── 需要跨多种机器人构型? │ ├── 是 → LingBot-VLA 2.0(原生跨实体) │ └── 否 → 继续判断 │ ├── 需要完全开源(含模型权重)? │ ├── 是 → LingBot-VLA 2.0 / OpenVLA │ └── 否 → 继续判断 │ ├── 部署资源有限(单卡可跑)? │ ├── 是 → LingBot-VLA 2.0(MoE 架构激活参数少) │ └── 否 → 继续判断 │ ├── 需要人类第一人称数据增强的泛化能力? │ ├── 是 → LingBot-VLA 2.0 │ └── 否 → 继续判断 │ └── 已有 Google 生态? ├── 是 → π0.5 └── 否 → LingBot-VLA 2.0
八、未来展望
8.1 VLA 模型的发展趋势
| 趋势 | 说明 | 时间线 |
|---|
| 更大规模数据 | 从 6 万小时到 10 万+ 小时 | 1-2 年 |
| 更多构型覆盖 | 从 20+ 到 50+ 种机器人构型 | 1 年 |
| 实时性能提升 | 从 30Hz 到 100Hz+ | 1-2 年 |
| 多模态增强 | 触觉 + 力反馈 + 语音输入 | 1 年 |
| Sim-to-Real 融合 | 仿真数据与真实数据联合训练 | 6-12 个月 |
| 端侧部署 | 模型压缩后直接运行在机器人板载芯片 | 1-2 年 |
8.2 LingBot-VLA 的行业意义
| 维度 | 意义 |
|---|
| 开源推动 | 6B MoE 权重完全开源,降低行业门槛 |
| 标准化 | 统一动作空间的尝试为"机器人通用接口"提供了参考 |
| 生态建设 | 覆盖 17 家厂商,推动跨平台兼容 |
| 数据飞轮 | 开源 → 社区贡献 → 数据积累 → 模型迭代 |
九、总结
| 维度 | 核心要点 |
|---|
| 模型 | 6B MoE 架构,自研语言主干 + SigLIP 视觉编码器 |
| 数据 | 60,000 小时(50,000 小时真实轨迹 + 10,000 小时第一人称人类操作) |
| 跨实体 | 17 家厂商、20+ 种构型,统一动作空间 + 形态嵌入 + 动作掩码 |
| 性能 | 在泛化操控任务上超越 π0.5,推理延迟 10-30 Hz |
| 部署 | 单 RTX 4090 可运行,支持 YAML 配置适配不同机器人 |
| 开源 | GitHub 完全开源(模型权重 + 代码 + 配置模板) |
| 定位 | 从"基础模型"到"实际应用"的 VLA 工程化标杆 |
LingBot-VLA 2.0 代表了具身智能领域的一个重要进展方向:用统一模型统一操控。它的核心价值不在于"6B 参数"这个数字,而在于 6 万小时数据锤炼出的跨实体泛化能力——一个模型学会操控 20 多种完全不同的机器人。这标志着 VLA 模型正在从"单一任务的策略网络"走向"通用机器人的操作大脑"。
参考资料:
- Robbyant/lingbot-vla-v2 GitHub 仓库
- LingBot-VLA 2.0 官方页面
- 6 万小时炼一个机器人大脑:LingBot-VLA 2.0 技术全解读(知乎)
- MarkTechPost: Robbyant Releases LingBot-VLA 2.0
- Robbyant Open-Sources LingBot-VLA 2.0(Robotics Business News)
- 60000小时炼出新开源VLA!20多种机器人都能用(BAIHUB)
- 支持17家机器人厂商20多种构型(凤凰网)