LangForce方法：强化VLA模型语言依赖，提升分布外泛化能力并保留语言核心功能
LangForce方法：强化VLA模型语言依赖，提升分布外泛化能力并保留语言核心功能
当前VLA模型常依赖视觉线索而非语言指令，在新场景下表现不佳。论文提出的LangForce方法，通过引入对数似然比损失，强化模型对语言的依赖，提升其在分布外环境中的泛化能力，并保留语言核心功能。
视觉 - 语言 - 动作 (VLA) 模型的问题
视觉 - 语言 - 动作 (VLA) 模型结合了视觉理解、自然语言处理和动作生成，让机器人能遵循人类指令。这些模型利用预训练的视觉 - 语言模型 (VLM) 理解所见内容和被要求做的事，再转化为物理动作。然而，当前VLA模型存在根本问题：常形成「视觉捷径」，忽略语言指令，仅依赖视觉线索。这是因为典型机器人训练数据集在机器人看到的内容和应执行的动作间创建了可预测映射，使语言指令多余。比如，看到柜子几乎总意味着「打开柜子」，而不管实际指令是什么。从贝叶斯视角看，一个VLA策略可分解，当相关项较为尖锐时，模型可仅从视觉预测动作，无需关注语言指令，后验策略退化为先验，即模型忽略语言指令，学习「视觉捷径」，在任务有歧义或环境变化时失效。
实证研究
华中科技大学、哈工大、港科广等发布的最新论文，提供实证证据支持假设：在目标驱动的数据集上训练的标准VLA模型通常学习的是仅视觉的策略，而非真正的语言条件策略。具体而言，研究人员采用starVLA中的Qwen3VL - 4B - GR00T模型作为代表性VLA架构进行了三项初步实验，以揭示「指令跟随的幻觉」。
实验1：识别测试中的视觉捷径
研究人员先在PhysicalAI - Robotics - GR00T - X - Embodiment - Sim (HuggingFace数据集名称) 的Humanoid机器人桌面操作数据上训练标准VLA模型，并在RoboCasa基准的24个任务上评估。因训练和测试场景相似，仅使用视觉的模型在全部24个任务上取得44.6%的成功率，与语言条件下的基准（47.8%）接近，表明模型无需依赖语言指令也能成功。
实验2：分歧情境下的失败
研究人员在经典的LIBERO基准上训练VLA模型，该基准含四个子集。结果显示，在三个子集上，仅视觉模型表现与完整VLA模型相当，但在LIBERO Goal子集上，仅视觉模型成功率骤降至12.4%。原因是LIBERO Goal本身存在分歧，相同物体配置可能对应多个有效任务。
实验3：分布外泛化中的灾难性失败
研究人员在高质量的BridgeDataV2数据集上训练，并在SimplerEnv上评估模型泛化能力。在Bridge数据集上训练时，仅视觉模型动作损失与完整语言条件模型损失相当，表明模型能识别视觉捷径。但在SimplerEnv上评估时，仅使用视觉的基准方法成功率接近0%，证实低训练损失是过度拟合特定领域视觉模式，而非学习到可泛化操作技能，特定视觉线索在分布外环境缺失时，策略会失效。
对数似然比（LLR）损失
研究人员将「视觉捷径」形式化为指令与动作之间条件互信息（CMI）的坍缩。理想的VLA策略应保持较高的CMI，但CMI受语言条件熵限制，在目标驱动的数据集中，确定性映射暗示CMI被迫坍缩，阻止模型学习动作与指令间超出视觉所捕捉内容的依赖关系。为打破僵局，研究人员提出对数似然比（LLR）损失，能有效估计点互信息（PMI），仅在策略捕捉到指令的特定语义且这些语义不可预测自视觉时给予奖励。
LLR损失的实现
LLR损失要求同时建模后验和先验。为此，研究人员引入潜在动作查询机制，通过K = 64个可学习的token扩展VLM词表。训练时，在输入文本指令中追加Q，并仅用其对应最后一层隐状态作为条件注入动作专家的流匹配过程。这一设计能严格分离「仅视觉」与「视觉 - 语言」上下文，满足双分支策略需求。为估计先验，构建输入序列，使Q中的token关注视觉观测但不关注语言指令，隐状态仅编码视觉信息，用这些特征预测动作并优化流匹配损失。为估计真实策略，将输入排列使Q能同时关注视觉和语言，生成的隐状态编码完整上下文信息，研究人员优化主要流匹配损失学习专家动作。最后，除动作预测外，显式优化LLR目标，最大化两个分支间语言token的对数概率差异，最终训练损失结合双分支动作预测损失与LLR极大化项。推理阶段，仅执行后验分支获得动作，并通过DiT生成动作，确保该方法测试时相比标准VLA基准不引入额外计算开销。
实验结果
分布外泛化能力 (SimplerEnv)
LangForce平均成功率达66.5%，超越所有对比算法，较基线QwenGR00T实现11.3%的绝对提升。
分布内性能 (RoboCasa)
LangForce平均成功率达52.6%，优于包括QwenOFT (48.8%) 和Isaac - GR00T (47.6%) 在内的强大基线。
经典的LIBERO
LangForce在Goal套件上成功率达99.4%，较Qwen3 - VL - GR00T基线（97.4%）提升2.0%，Goal套件存在显著视觉分歧，多个任务共享同一场景。研究人员对LIBERO Goal数据集上的条件熵进行定量分析，LangForce在NLL上显著高于QwenGR00T。尽管LIBERO Goal语言结构有高度重复性，但该方法仍表现出更高的NLL与PPL，表明LangForce保持了与视觉场景固有模糊性相符的不确定性水平，迫使策略主动利用语言指令解决歧义，促进了在Goal套件上的优异表现。
语言能力的保留
LangForce的关键优势是能保留底层视觉 - 语言模型的原始推理和对话能力。标准VLA微调常导致LLM模型语言能力丧失和通用能力退化，而LangForce通过LLR损失强制模型对语言产生强依赖，起到正则化作用，维持指令功能性，保留主干模型的纯文本对话能力。这种能力保留确保VLA的LLM部分不会退化为浅层特征映射器，使VLA维持对高层推理和新指令泛化的潜力。
论文链接：https://arxiv.org/abs/2601.15197