2025_NIPS_DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

文章核心总结与翻译

一、主要内容

DreamVLA 是一款新型视觉-语言-动作（VLA）模型，核心是通过整合动态、空间、语义层面的综合世界知识预测，构建“感知-预测-动作”闭环，解决传统VLA模型存在的像素信息冗余、缺乏空间和高层语义知识等问题。模型在模拟环境（CALVIN基准）中实现4.44的平均任务长度，在真实机器人任务中达成76.7%的成功率，性能超越现有主流方法。

二、核心创新点

1. 综合世界知识预测：不再生成完整未来帧，而是针对性预测动态区域（运动关键区域）、深度图（3D空间结构）和高层语义特征（DINOv2、SAM提取），提供简洁且关键的规划依据。
2. 块结构注意力机制：将查询拆分为动态、深度、语义三个子查询，屏蔽子查询间的相互注意力，避免信息泄露，保证各表征独立纯净。
3. 扩散Transformer解码器：采用去噪扩散Transformer，从共享潜特征中分离动作表征，有效建模未来动作的条件分布，提升多步动作推理的连贯性。
4. 端到端闭环设计：统一整合多模态输入编码、世界知识预测和动作生成，无需额外生成模型，兼顾推理效率与性能。

三、关键部分翻译（Markdown格式）

Abstract（摘要）

视觉-语言-动作（VLA）模型