2025_NIPS_Praxis-VLM: Vision-Grounded Decision Making via Text-Driven Reinforcement Learning

一、主要内容总结

1. 研究背景与问题

现有视觉语言模型（VLMs）在多模态任务中表现出色，但缺乏复杂场景下的情境推理能力，难以支撑机器人、交互式助手等领域的决策需求。传统增强VLMs推理能力的方法依赖大规模图文配对数据，这类数据标注成本高、获取难度大，尤其在多样化现实决策场景中存在明显瓶颈。

2. 核心发现与假设

通过初步实验发现：当用文本描述替代视觉场景作为输入时，标准VLMs在VIVA、PCA-Bench等决策基准测试中表现相当甚至更优。由此提出核心假设：决策推理的核心能力可与视觉感知解耦，主要通过语言表征学习，再迁移到视觉接地的决策场景中（契合人类“基于语言构建情境心理模型进行推理”的认知逻辑）。

3. 模型设计与方法

提出Praxis-VLM，一种基于文本驱动强化学习的推理型VLM，核心流程包括三阶段：

• 文本数据集构建：利用GPT-4o生成10K训练样本+1K验证样本，以文本描述替代视觉场景，构建决策导向的文本数据集（无需人工筛选）；
• 多阶段RL训练：采用GRPO算法，结合自适应R1奖励机制，分两阶段训练：
  • 阶段1（冷启动）：基于geometry3k数据集，强化模型格式合规性与基础逻辑推理能力；<