【论文解读】OpenVLA: An Open-Source Vision-Language-Action Model

论文：OpenVLA: An Open-Source Vision-Language-Action Model（Stanford / UC Berkeley / Google DeepMind / TRI / Carnegie Mellon 等，2024）
发布时间：2024 年 6 月 13 日（arXiv v1），v3 修订于 2024 年 9 月 5 日
作者：Moo Jin Kim、Karl Pertsch、Siddharth Karamcheti、Ted Xiao、Ashwin Balakrishna、Suraj Nair、Rafael Rafailov、Ethan Foster、Grace Lam、Pannag Sanketi、Quan Vuong、Thomas Kollar、Benjamin Burchfiel、Russ Tedrake、Dorsa Sadigh、Sergey Levine、Percy Liang、Chelsea Finn（共 18 人）
核心一句话：用一个 7B 参数的开源 VLA，在 970k 真机示教上训练，就在 29 个跨本体任务上把 55B 的闭源 RT-2-X 反超 16.5%，还能用 LoRA 在消费级 GPU 上微调、用 4-bit 量化在 7GB 显存里推理。

配套资源

• 项目主页：https://openvla.github.io
• 官方代码仓库（PyTorch 训练管线 + 微调脚本 + 远程推理服务）：https://github.com/openvla/openvla
• HuggingFace 模型权重（OpenVLA-7B 主检查点）：https://huggingface.co/openvla/openvla-7b
• HuggingFace 组织页（含 Prismatic 版与 LIBERO 微调变体）：https://huggingface.co/openvla

核心关键词

• VLA（Vision-Language-Action Model）：把图像 + 语言指令直接映射为机器人动作 token 的端到端策略模型，本质是把 VLM 的下一 token 预测扩展到动作空间。
• Open X-Embodiment（OpenX）：70+ 个机器人数据集、200 万+ 轨迹汇成的跨本体操作数据集，是 OpenVLA 预训练的数据底座。
• Prismatic-7B：OpenVLA 的 VLM 骨干，由 SigLIP + DinoV2 双视觉编码器 + Llama 2 7B 组成，融合了语义与空间特征。
• 动作离散化（action tokenization）：把连续动作按每维 256 桶离散化，覆写到 Llama 词表的最后 256 个 token 上，让动作预测变成下一 token 预测。
• LoRA 微调：低秩适配，只训 1.4% 参数即可追平全量微调，把单任务微调压到单卡 A100、10–15 小时。
• 4-bit 量化推理：把 7B 模型的推理显存从 16.8GB 压到 7.0GB，且成功率不降。
• 跨本体泛化（cross-embodiment）：同一策略开箱即用控制 WidowX、Google Robot、Franka 等不同本体，并支持视觉/运动/物理/语义四类 OOD 泛化评测。

带着问题阅读

1. 既然 RT-2 已经证明"VLM 直接预测动作"可行，为什么机器人社区仍然用不起来？OpenVLA 要拆掉的是哪三道墙？
2. 把连续的 7 维动作塞进一个语言模型的词表，具体怎么做？为什么用分位数而不是 min-max？
3. 同样是 7B 量级，凭什么 OpenVLA 能在 BridgeData V2 上反超大它近 8 倍的 RT-2-X？是数据、骨干、还是训练节奏的功劳？
4. "开箱即用"和"快速微调"这两种用法，OpenVLA 在哪种任务上会被 Diffusion Policy 反超？这说明 VLA 的软肋在哪？
5. LoRA 和 4-bit 量化真的"不掉点"吗？8-bit 为什么反而崩了？
6. 一个只看单张第三视角图像的策略，离真正的通用操作还有多远？论文自己承认了哪些天花板？

一、核心导读

OpenVLA 的故事可以用一句话概括：把机器人操作策略的训练，从"为每个任务造一个专用小模型"转向"在一个开源大模型上做语言模型式的微调"。这件事在 NLP 里已经被 Llama 生态验证过无数次，但在机器人领域一直卡在三个地方——模型闭源、没有高效的微调范式、消费级硬件跑不动。OpenVLA 同时回应了这三点。

它的做法是高度工程化、甚至刻意"求简"的：拿一个开源 VLM 骨干（Prismatic-7B，SigLIP + DinoV2 + Llama 2），在 970k 条 OpenX 真机轨迹上把动作离散化成 256 个 token，用标准的下一 token 预测做微调。结果是：在 WidowX 与 Google Robot 两个本体共 29 个任务上，7B 的 OpenVLA 把 55B 的闭源 RT-2-X 反超 16.5% 绝对成功率；在 Franka 上的数据高效微调里，它是唯一一个在所有任务上都 ≥50% 成功率的方法；再加上 LoRA 与 4-bit 量化两件套，让它能在消费级 GPU 上训、在 7GB 显存上跑。最后，权重、代码、微调 notebook 全部开源。

需要强调的是：OpenVLA 的贡献不在"提出新架构"，而在"把一条已被验证的路线（VLM → 动作 token）做到开源、可微调、可消费级部署，并给出系统性的设计决策与消融"。它的价值更多是基础设施层面的——给社区一个可以站在上面继续做 VLA 研究的开放基座。

二、问题背景：作者到底想解决什么

2.1 通用操作策略的"泛化困境"

机器人操作策略最深的痛点是泛化：为单个技能训出来的策略，能扛住物体位置、光照的小幅变化，却扛不住场景里的干扰物、没见过的物体、没见过的指令。而与此同时，CLIP、SigLIP、Llama 2 这些在互联网规模数据上预训练的视觉/语言基础模型，恰恰擅长这类泛化。这构成一个强烈的反差：机器人数据哪怕做到百万级（OpenX 也才 100K–1M 量级），相比互联网图文数据仍是九牛一毛，但可以直接借用后者学到的先验。

这条思路的最直接落地就是 VLA：不把视觉/语言模型当特征提取器拼到一个从头训的策略里，而是直接对 VLM 做微调，让它把"动作"当作一种 token 吐出来。RT-2 已经证明这条路能带来惊人的鲁棒性和泛化。

2.2 阻碍 VLA 被广泛使用的两道墙

但 RT-2 这类工作没法被社区真正用起来，作者归纳为两点：

1. 闭源：模型架构、训练流程、数据配比都不公开，研究者既看不进去也改不了。
2. 缺乏适配范式：既有工作不告诉你"拿到一个新机器人、新环境、新任务时，怎么高效地把 VLA 调过去"——尤其是在消费级硬件上。

OpenVLA 的全部设计都围绕这两点：开源、且系统性地研究微调与推理效率。这与 NLP 里 Llama 开源生态所催生的研究体量是同一套逻辑——作者明确说，机器人也需要这样一个"开源、可微调、可适配的通用 VLA 基座"。

三、核心思路：用一句主线串起来

把机器人动作预测伪装成一个语言建模问题，于是所有 LLM 的训练/微调/推理工具链都能直接复用——再用更好的开源骨干 + 更大更干净的数据 + 更久的训练轮数，在更小参数量下打掉闭源大模型，最后用 LoRA 和量化把门槛降到消费级。

这句主线解释了 OpenVLA 为什么几乎所有技术选择都"求简"：它不发明新结构，而是刻意让自己长在已有的 LLM 工具生态上，这样规模化、微调、量化、推理加速全是"免费"的。

四、方法展开：沿着论文原始逻辑拆解

4.1 模型架构：一个标准 VLM，加一个"双视觉编码器"的小心思

图 1 是 OpenVLA 的总览：输入一张图像 + 一条语言指令，输出 7 维机器人控制动作。它支持多本体开箱即用，并能通过参数高效微调适配新域，权重与训练管线全部开源、可从 HuggingFace 拉取微调。

具体到架构（图 2），它沿用现代 VLM 的三段式：(1) 视觉编码器把图像切成 patch 得到图像嵌入；(2) projector（一个 2 层 MLP）把视觉特征投到语言模型的输入空间；(3) LLM 骨干用 Llama 2 7B。这里最值得注意的"小心思"是双视觉编码器：OpenVLA 不用单一 CLIP/SigLIP，而是同时用 SigLIP（提供高层语义）和 DinoV2（提供低层空间细节），把两者特征按通道拼接。作者的判断是：机器人控制比 VQA 更吃空间精度——你要抓的东西在哪儿、朝哪个方向，这种信息 DinoV2 比 SigLIP 给得更准。后续消融会证明这一点（虽然效应比预训练数据小）。

OpenVLA 用的骨干是 Prismatic-7B，它在 LLaVA 1.5 数据混合（约 1M 图文/纯文样本）上微调过。换言之，OpenVLA 是站在一个已经"看懂图、会语言"的 VLM 肩膀上，再去做动作预测的。

4.2 训练流程：把动作塞进语言模型的词表

OpenVLA 的训练流程把"动作预测"严格写成"视觉-语言任务"：图像 + 指令 → 一串动作 token。关键在动作如何变成 token：

• 逐维离散化：对 7 维动作的每一维，单独离散成 256 个桶。
• 分位数定桶宽：用训练数据该维的 1%–99% 分位数作为区间端点，而不是 RT-2 用的 min-max。这是一个务实的改进：min-max 会被极端离群动作撑爆区间、让有效粒度变粗；分位数直接甩掉长尾。
• 覆写词表：Llama tokenizer 只留了 100 个特殊 token，不够 256 个动作 token。作者干脆覆写 Llama 词表里使用最少的 256 个 token（即最后 256 个）为动作 token。这是个"求简"的决断——不动 tokenizer 结构。
• 损失只算动作 token：用标准下一 token 预测的交叉熵，但只在动作 token 位置算 loss。

这一步的设计哲学很统一：凡是能让动作预测尽量像普通语言建模的，就尽量像。于是 batch、混合精度、FlashAttention、FSDP 这些 LLM 训练基础设施照搬即可。

4.3 训练数据：970k 轨迹的"配平"工程

OpenVLA 的预训练数据来自 Open X-Embodiment（OpenX），但不是简单全量取用，而是做了两层 curation：

1. 统一输入输出空间：只保留至少有一个第三视角相机、单臂末端执行器控制的数据集。这是为了让所有数据共享同一套观测/动作语义。
2. 配平混合：借用 Octo 的数据混合权重——启发式地降权低多样性数据、加权高多样性数据。另外把后加入 OpenX 的 DROID 以 10% 保守权重混入；但训练中发现 DROID 的动作 token 准确率一直偏低，说明这个数据集的多样性暂时还拟合不动，于是在最后 1/3 训练里把 DROID 拿掉以保证最终模型质量。

这个细节很有信息量：它说明"数据多 ≠ 数据能用"，混合权重是一个需要在线监控、动态调整的工程旋钮，而不是一次性配好的静态配方。最终数据集是 970k 条轨迹，覆盖多种本体/场景/任务——这既是开箱即用控制多种机器人的前提，也是微调时能提供强先验的来源。

4.4 关键设计决策：四条来自小规模实验的经验

作者在 BridgeData V2 上做了大量小规模实验来定方案，四条最关键：

• VLM 骨干：试过 IDEFICS-1、LLaVA、Prismatic。LLaVA 在多物体语言 grounding 任务上比 IDEFICS-1 高 35% 绝对成功率；Prismatic 又比 LLaVA 高约 10%。归因于 SigLIP+DinoV2 融合带来的空间推理提升。最终选 Prismatic。
• 图像分辨率：224×224 与 384×384 在评测上无差异，但后者训练慢 3 倍。于是用 224×224。注意：在一般 VLM benchmark 上提分辨率通常涨点，但 VLA 还没看到这个趋势——这是个值得继续挖的反常现象。
• 视觉编码器要微调、不能冻结：这与 VLM 的常规做法相反（VLM 里冻结视觉编码器通常更好）。作者假设原因是：预训练视觉骨干抓不到精细空间细节，而机器人控制恰恰吃这个。消融里冻结视觉会掉到 46.7%、微调到 80.0%，差距巨大。
• 训练轮数与学习率：VLA 需要远多于 LLM/VLM 的 epoch——一直训到动作 token 准确率超过 95%，最终跑了 27 个 epoch。学习率固定 2e-5（与 VLM 预训练一致），不要 warmup。

这四条合起来勾勒出 VLA 不同于 LLM/VLM 的"训练性格"：更吃空间细节、更吃数据重复、对分辨率反而不敏感。这些经验对后续做 VLA 的人比模型本身更有参考价值。

4.5 训练与推理基础设施

最终模型在 64 块 A100 上训 14 天，共 21,500 A100-小时，batch size 2048。推理时 bfloat16 精度下占 15GB 显存，单卡 RTX 4090 上约 6Hz（未做编译/投机解码等加速）。作者还实现了一个远程 VLA 推理服务，可以把动作预测实时流式推给机器人，这样本地不需要强算力也能控机器人——这一点对"降低使用门槛"很实际，随代码一起开源。

4.6 OpenVLA 代码库

代码库是一个模块化 PyTorch 训练框架，从单卡微调到多节点集群训练十亿参数 VLA 都覆盖，内置 AMP、FlashAttention、FSDP，原生支持 OpenX 训练、HuggingFace AutoModel 集成、LoRA 微调与量化推理。它是 OpenVLA 作为"基座"承诺的具体载体。

五、实验与证据：结果能支撑到什么程度

实验围绕三个问题展开：开箱即用 vs 既有通用策略、数据高效微调 vs 从头训的模仿学习、参数高效微调与量化的性能-算力权衡。所有评测都是同任务同初始状态的 A/B 对比。

5.1 开箱即用：在两个本体上正面打 RT-2-X

在 BridgeData V2 的 WidowX 上（图 3，17 任务、每方法 170 次 rollout），OpenVLA 总体最高，并在视觉/运动/物理/语言 grounding 全部分类上反超闭源 RT-2-X，唯独语义泛化输给 RT-2-X。语义泛化指没见过的目标物体、指令、互联网概念——RT-2-X 在这里赢是合理的：它用了更大规模互联网预训练，并且是联合互联网数据一起微调的，更好地保留了预训练知识；而 OpenVLA 是纯机器人数据微调。

在 Google Robot 上（图 4，12 任务、60 次 rollout），OpenVLA 与 RT-2-X基本打平，两者都明显甩开 RT-1-X 和 Octo。定性上，OpenVLA 与 RT-2-X 都表现出"有干扰物时仍能接近正确物体、能正确定向末端、甚至能从抓取失误中恢复"的鲁棒行为。

作者把 OpenVLA 能以 7B 反超 55B 的原因归结为三点：(1) 数据更大更干净（970k vs 350k，且做了如过滤 Bridge 全零动作等清洗）；(2) 融合视觉编码器带来语义+空间双特征；(3) 更久训练。附录消融量化了这些组件的贡献。

值得一提的是评测本身的设计：作者定义了视觉/运动/物理/语义四类 OOD 泛化轴，并在多物体场景里专门测语言 grounding（改指令、定初始状态、看策略是否去碰对的物体）。图 7 和图 9 给出了这些任务的具体图示。

图 7 展示 BridgeData V2 的四类 OOD 任务：每对图是起始状态与完成后的示例终态，底部三行是语言 grounding 任务——固定初始状态、只改指令，检验策略是否走向正确目标物体。

图 8 是一个容易被忽略但很重要的"诚实的细节"：原始 BridgeData V2 水槽环境的示教，全部把末端初始化在目标正上方。而论文评测里统一把末端初始化在水槽上方固定位置（除"放茄子进锅"易版本外）。这意味着评测比训练分布更难——作者没有用数据里的讨好初始状态来刷分。

图 9 是 Google 机器人的评测任务，OOD 涉及未见背景、目标物体、指令/物体关系，以及来自互联网、不出现在机器人动作数据里的语义概念。

5.2 数据高效微调：开箱先验 vs 从头模仿学习

这一组实验是全文最有说服力的部分之一。在 Franka-Tabletop 与 Franka-DROID 两个新本体上，用 10–150 条示教做全量微调，对比从零训的 Diffusion Policy、微调的 Octo、微调的 OpenVLA，以及一个消融"OpenVLA(scratch)"——直接在目标域上微调底层 Prismatic VLM、跳过 OpenX 预训练（图 5，129 次 rollout）。

结论很清晰：

• 窄单指令任务（如"把胡萝卜放碗里"）上，Diffusion Policy 与 OpenVLA 打平甚至反超。这说明在窄而精的任务上，从头训的表达式策略仍有优势，尤其在轨迹平滑与精度上。
• 多物体、多指令、需语言 grounding 的任务上，预训练过的 Octo 和 OpenVLA 明显更好；OpenVLA(scratch) 掉下来，证明这好处来自 OpenX 预训练先验，而不是 VLM 架构本身。
• 总体平均OpenVLA 最高，并且是唯一一个在所有任务上都 ≥50% 成功率的方法。作者据此主张：OpenVLA 适合作为模仿学习的"默认起点"，尤其当任务涉及多样语言指令时；对窄而高度灵巧的任务，Diffusion Policy 仍更顺滑，未来可借鉴其 action chunking 与时序平滑。

图 10 给出 Franka-Tabletop 六个任务：上三行单指令、下三行多物体多指令；每任务第一列是分布内初始状态、第二列是 OOD 初始状态（未见背景/物体/干扰物/位姿）。

图 11 是 Franka-DROID 的"擦桌子"任务：机器人需抓起刷子把三个物体扫进簸箕，右图是带未见干扰物的 OOD 试验。

5.3 参数高效微调：LoRA 是最优解

* 跨两卡 FSDP 分片。

这组对比（Franka-Tabletop 选定任务、33 次 rollout）的结论很干脆：只调最后一层或冻结视觉都不行——再次印证视觉特征必须被适配到目标场景；LoRA 性能-算力权衡最优，仅训 1.4% 参数就追平全量微调，把单任务微调压到单卡 A100、10–15 小时（相比全量微调省 8 倍算力）。LoRA 的 rank 对性能影响可忽略，推荐默认 r=32。

5.4 量化推理：4-bit 不掉点，8-bit 反而崩

这部分有一个反直觉但非常重要的发现：8-bit 量化反而掉点，4-bit 反而不掉。原因不在精度本身，而在速度——8-bit 在多数 GPU 上因量化开销变慢，在评测用的 A5000 上只能跑 1.2Hz，而 Bridge 任务用的是 5Hz 非阻塞控制器，1.2Hz 显著改变了系统动力学、与数据采集时的频率不匹配，于是性能崩掉。4-bit 因为显存搬运减少抵消了量化开销，能跑到 3Hz，更接近训练分布的频率，于是成功率与 bfloat16 持平。

这是一个超出"精度-性能"二元论的洞察：对闭环控制而言，推理频率本身就是系统动力学的一部分，慢即错。图 6 给出各消费级/服务器 GPU 的可达频率，bfloat16 与 int4 在 Ada Lovelace 架构（RTX 4090、H100）上吞吐尤其高；进一步加速可上 TensorRT-LLM。

5.5 消融与仿真补充：把功劳算清楚

附录的消融把"凭什么反超 RT-2-X"算得比较清楚（Table 9, 10）：OpenX 预训练的效应远大于双视觉编码器——去掉 OpenX 只在 Bridge 上训，掉得很多；再去掉 DinoV2 只留 SigLIP，再掉一点但幅度小得多。换言之，OpenVLA 的强势主要来自"更大更干净的数据 + 更久训练"，架构上的双编码器是锦上添花。另外冻结 vs 微调视觉编码器的对比（Table 10）很极端：微调 80.0% vs 冻结 46.7%，进一步坐实"VLA 必须放开视觉编码器"。

附录 E 还在 LIBERO 仿真上做了微调实验（Table 12，四套任务、每统计 1500 次试验）：微调 OpenVLA 平均成功率 76.5%、平均排名 1.5，仍居首，但领先幅度比真机小。作者的解释很坦诚：OpenVLA 是纯真机数据预训练的，与仿真有域差，所以仿真上的增益被压缩；Octo 也是纯真机预训练，同样只比从零训的 Diffusion Policy 高一点。这暗示一个方向：预训练里掺仿真数据可能进一步放大增益。

六、这篇工作的边界与可复现性

可复现性是 OpenVLA 最硬的承诺。权重（HuggingFace）、训练代码（PyTorch，含 FSDP/AMP/FlashAttention）、微调脚本与 notebook、远程推理服务、LIBERO 仿真复现材料全部开源。复现预训练需要 64×A100×14 天的算力门槛（21,500 A100-小时），对多数实验室不现实；但微调和推理完全在消费级可达——LoRA 单卡 A100、4-bit 量化 7GB 显存——这正是作者刻意下放的部分。

边界方面，作者自己点出了四条天花板：

1. 单图像观测：只支持单张第三视角图像，不支持多相机、本体感知、历史帧。真实机器人感知是异构的，这是最直接的短板。
2. 推理频率上不去：当前 ~6Hz，撑不住 ALOHA 这类 50Hz 高频控制，也限制了对双臂灵巧任务的探索。action chunking、投机解码是潜在解法。
3. 绝对可靠性仍不够高：虽然领先，但多数任务成功率仍 <90%，离"可部署"还有距离。
4. 很多设计问题因算力未能充分探索：基础 VLM 规模的影响？机器人动作数据与互联网图文协同训练是否大幅涨点？哪种视觉特征最适合 VLA？这些都被列为开放问题，交给社区。

此外，评测的主力是 BridgeData V2 与 Google Robot 两个相对窄的本体/任务族；Franka 微调虽然加了，但任务仍是 tabletop 量级。OpenVLA 在更长时序、更灵巧、更高频率任务上的表现，论文没有给出证据。

七、如果继续研究/落地，应该关注什么

1. 多模态/历史输入：把单图扩展到多视角 + 本体感知 + 历史帧，可能是下一版 VLA 的头号议程。作者提示，用 interleaved 图文预训练的 VLM 可能更适合做灵活输入的 VLA 微调。
2. 推理加速与 action chunking：要进 ALOHA 这类高频双臂场景，必须把推理吞吐拉上去——action chunking（一次预测多步）和投机解码是两条现成路径，也是把 OpenVLA 从"桌面操作"推向"灵巧操作"的关键。
3. 数据配比工程化：DROID 拟合不动的细节提示，数据混合权重应做成在线监控+动态调整的流程，而非静态配方；仿真数据混入预训练可能放大仿真增益。
4. 协同训练：机器人动作数据 + 互联网图文共训是否能像 RT-2-X 那样保住语义泛化，同时不失 OpenVLA 的机器人性能，是一个值得做的对照。
5. 从"基座"到"生态"：OpenVLA 的真正价值在于被社区 fork 出各种变体（不同骨干、不同数据、不同动作空间）。落地时应把它当 Llama 来用——在其上做 LoRA 域适配、做量化部署、做推理服务化——而不是当成品策略直接部署。

八、术语与概念速查

为方便读实验与消融时对照，把正文中反复出现的「对比方法 / 方法变体 / 评测概念」集中于此。核心概念（VLA、OpenX、Prismatic-7B、动作离散化）已在开头「核心关键词」预告并在第四章正文展开，此处不重复。

九、拓展思考：值得继续扩展研究与思考的创新点

1. "分辨率不敏感"反常：VLA 上 224→384 不涨点，与 VLM benchmark 相反。这是否意味着 VLA 的瓶颈在动作端而非感知端？值得系统性地把"提分辨率"换成"提动作表达精度"来做对照。
2. 频率即动力学：int8 之所以崩，不是因为精度差而是因为慢。这提示 VLA 的评测必须把"推理频率-控制器频率匹配"作为一等公民来报告，否则量化/蒸馏类的效率研究会得出错误结论。
3. 动作 token 化的代价：把连续动作硬离散成 256 桶，是否限制了精细动作的上限？Diffusion Policy 在窄灵巧任务上更强可能正与此有关。连续动作头（diffusion/dit action head）与 token 化动作的混合表达，是一个有潜力的方向。
4. 预训练数据的"可拟合性"诊断：DROID 拟合不动是个信号——能否设计一个"数据集对 7B VLA 的可吸收度"指标，用来在线决定混合权重？这把数据工程从手艺变成可度量流程。
5. 开源基座的长期价值：OpenVLA 真正的里程碑不是 16.5% 的反超，而是把"VLA 研究"从少数大公司的黑盒，变成了任何有单卡 A100 的实验室都能参与的开放问题。它的引用曲线与衍生工作数量，可能比它的成功率数字更说明问题。