2025_NIPS_Robot-R1: Reinforcement Learning for Enhanced Embodied Reasoning in Robotics
文章主要内容与创新点总结
一、主要内容
本文针对大型视觉语言模型（LVLMs）在机器人控制中难以将通用常识转化为精细化具身推理的问题，提出了一种基于强化学习（RL）的训练框架ROBOT-R1，旨在增强机器人控制场景下的具身推理能力。
- 核心问题：现有基于监督微调（SFT）的方法存在数据集设计启发式、未优化机器人动作预测、易发生灾难性遗忘和泛化性能差等局限；LVLMs在低级别动作控制（如空间推理、运动推理）中难以精准理解量化细节和适应分布偏移。
- 框架设计：
- 数据生成：基于专家演示的机器人状态和图像观测，构建三类多项选择问答（MCQA）任务（下一个关键点预测、当前状态预测、运动预测），将连续动作空间离散化以提升学习效率。
- 训练机制：借鉴DeepSeek-R1的思路，采用Group Relative Policy Optimization（GRPO）算法，通过强化学习优化模型的推理路径，奖励信号包含格式奖励和答案正确性奖励。
- 评估基准：提出ROBOT-R1 Bench，采用开放式问答格式，从规划、高级动作推理、运动推理、空间推理四个维度评估具身推理能力，使用GPT-4o作为评估器保证客观性。
- 实验验证：在ROBOT-R1 Bench、EmbodiedBench Manipulation、SpatialRGPT等基准测试中，仅7B参数的ROBOT-R1模型不仅优于SFT基线方法，还在低级别动作控制推理任务中