当前位置：首页 > news >正文

英伟达最新FastDriveCoT！CoT思维链推理加速3-4倍...

news 2026/3/26 22:05:08

近年来，Vision-Language-Action (VLA) 模型在机器人操控领域展现了巨大潜力。为了让模型处理更复杂的长程任务（Long-horizon tasks），研究者们引入了思维链（Chain-of-Thought, CoT）。

通过显式的文本推理或视觉预测，机器人确实变“聪明”了。但随之而来的是一个残酷的现实：

计算开销巨大：显式生成长文本推理链会导致 KV Cache 激增，推理延迟极高。
表示鸿沟（Modality Mismatch）：离散的文本符号或像素级预测，与机器人连续的动作控制（Continuous Control）之间存在天然的表示不匹配。

当一个机器人在抓取物体前需要先写一段“小作文”时，它就已经失去了实时交互的可能。我们能否让机器人像人类产生“肌肉记忆”一样，在潜空间内完成快速思考？

来自西交，中科院，北大和北京智源的团队给出了新的答案 LaRA-VLA：

原文链接：英伟达最新FastDriveCoT！CoT思维链推理加速3-4倍…

目前的 CoT VLA 主要分为两条路径：

文本 CoT：通过自然语言显式表达中间推理过程，涵盖任务拆解与高层规划，也可能把视觉信息转述为文字。但推理依赖长序列文本生成，推理阶段计算开销较大。
视觉 CoT：通过显式的视觉预测来表达推理，例如生成未来观测或中间视觉状态。
通常依赖 VQ 等机制将连续视觉表征离散化为视觉 token，因而不可避免地引入表示鸿沟。

这种“显式推理”的本质是牺牲速度换精度。但在具身智能场景中，毫秒级的延迟往往决定了任务的成败。我们需要一种“内化（Internalized）”的推理机制，既保留 CoT 的逻辑指导能力，又具备端到端模型的响应速度。

为了破解上述难题，这篇工作提出了 LaRA-VLA (Latent Reasoning VLA)。它的核心思想是：不再显式输出推理 Token，而是在连续的潜空间（Latent Space）中进行多模态推理与预测。

核心架构：LaRA-VLA 将多模态 CoT 推理过程内化为潜空间中的特征演化。
通过以少量文本 CoT latent 替代冗长的 CoT token，并利用连续的视觉目标特征进行隐式监督以约束其语义，模型得以在内部完成“意图理解”与“路径规划”，从而直接驱动动作生成。

三阶段课程学习 (Curriculum-based Training)
如何让模型学会这种“看不见”的推理？这篇工作引入了一套循序渐进的训练方案：

显式监督阶段：
通过显式的文本 CoT 监督，引导模型理解任务逻辑与高层意图；同时，视觉信息始终以连续 latent 的形式参与建模，作为稳定的语义锚点，并提供前瞻性的结构约束。
潜空间转换阶段：
逐步引入潜空间推理特征，以少量文本 CoT latent 替代冗长的文本 CoT 序列，并在视觉 latent 的隐式约束下，将文本推理内化为潜空间表示。
动作自适应阶段：
将潜空间中的推理动力学与动作生成深度耦合，使模型直接在 latent 空间中完成意图理解与路径规划，从而实现高效的行动导向控制。