2025_NIPS_HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning
文章核心总结与翻译
一、主要内容
本文提出HumanoidGen，一款基于大语言模型（LLM）推理的自动化框架，专为类人机器人双手机动操作生成任务场景与演示数据。框架通过空间标注、LLM规划、蒙特卡洛树搜索（MCTS）增强推理等模块，解决现有数据集缺乏双手机动操作场景、数据收集成本高的问题，并构建了包含20个不同难度任务的HGen-Bench基准测试集。实验验证，该框架生成的数据可有效提升2D/3D扩散策略性能，在长时任务和复杂碰撞场景中表现优于现有方法。
二、核心创新点
- 双手机动操作的自动化数据生成：首次实现从场景生成到演示收集的全流程自动化，通过资产与手部的空间标注，为LLM提供精确的几何关系基础。
- LLM+MCTS增强推理：提出Segment-Truncate-Combine-Resume（STCR）机制，结合MCTS解决LLM在长时任务和标注不足场景下的推理缺陷，提升规划成功率与多样性。
- 动态碰撞管理：通过主动避碰和动态碰撞忽略列表，灵活处理接触式操作与自由空间运动的碰撞问题，适配复杂操作场景。
- 场景缩放与数据泛化：支持从桌面级到房间级的场景扩展，利用坐标变换实现任务迁移，无需额外标注即可提升数据多样性。