Tiny_VLA

TinyVLA: Towards Fast, Data-Efficient Vision-Language-ActionModels for Robotic Manipulation

文献链接：Tiny-VLA:Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation

摘要

VLA模型通过端到端的学习过程在视觉运动控制和示教理解方面展现了巨大潜力。但是目前VLA模型面对了巨大的潜力：推理过慢以及要求在大量的机器人数据上进行广泛的预训练，使得真实部署困难。本文中引入了TinyVLA**,与目前现存的模型相比拥有两个优势：1、推理速度块，2、数据效提升，消除了对预训练阶段的需求。该工作有着两个关键的组件：1、初始化了一个健壮的policy主干–高速的多模态模型，2、在微调期间组合了扩散策略解码器，使得其能够准确的预测机器人动作。**作者在仿真和真实机器人上进行了广泛的评估，表明了该方法在速度和数据效率上极大程度上优于目前的SOTA，同时还具备与之媲美的性能。此外，TinyVLA还多维度上展现了强大的泛化性，其中包括语言描述、新目标、无法观测区域、目标位置的变化 、环境转变。作者认为TinyVLA利用policy预训练的多模态学习可以提供有价值的方向。

• 作者认为的问题

  如何设计VLA保持现有VLA模型优势的前提下同时还拥有快速性和数据效率？

  • 解决

    作者发现两个关键因素导致目前VLA模型推理延迟。1、使用很大的VLM模型，通常超过了7B，2、他们通过自回归产生离散动作token,要求对每一个自由度重复处理。因此，作者首先才拥有一个小于1B的VLM模型同时也具备强有力的能力，然后使用下一token独立预测的技术，首先附加了一个基于扩散头去预训练一个多模态模型直接输出动作。

• 作者认为自己贡献

  • 引入了一个新的VLA架构-组合了一个带有扩散模型的轻量化VLM，使其能够快速推理，更加强健的性能以及卓越的泛化能力。<