当前位置：首页 > news >正文

【3D 场景生成】SCENEWEAVER: All-in-One 3D Scene Synthesis with an Extensible and Self-Reflective Agent

news 2026/7/10 7:18:19

原文链接：https://arxiv.org/pdf/2509.20414
项目链接：https://scene-weaver.github.io/
发表：NeurIPS-2025

摘要

随着具身智能的快速发展，室内场景合成的研究价值日益凸显——具身智能所需的3D环境不仅要具备视觉真实感，还需满足物理合理性与功能多样性。尽管现有方法已在视觉保真度上取得长足进步，但普遍存在场景类别固定、物体级细节不足、物理一致性欠缺的问题，且难以精准适配复杂的用户指令。

本文提出SCENEWEAVER，这是一套具备自反思能力的智能体框架，通过「工具化迭代优化」的思路融合了多元场景合成范式的优势。其核心是基于大语言模型的规划器：它先对生成场景的物理合理性、视觉真实度以及与用户输入的语义匹配度进行自评估，再以此为决策依据，从可扩展的场景生成工具库中选取适配工具，工具类型覆盖数据驱动生成模型、视觉方法与大语言模型方法等。

这种「推理-执行-反思」的闭环设计，让智能体能够自主识别语义偏差、调用针对性工具，并在多轮迭代中持续优化场景。在常规房间类型与开放词汇房间类型上开展的充分实验表明，SCENEWEAVER不仅在物理、视觉、语义三类指标上全面超越现有方法，还能有效泛化至带有多样化指令的复杂场景，为通用型3D环境生成的发展迈出了关键一步。

一、方法框架总览

SCENEWEAVER是首个面向3D室内场景合成的自反思智能体框架，核心设计是「统一工具接口 + 闭环迭代优化」。它打破了单一3D生成方法的能力局限，将现有各类场景合成算法封装为标准化、可插拔的工具模块，由大语言模型驱动的规划器遵循**推理-执行-反思（Reason-Act-Reflect）**的闭环范式，动态选择工具迭代打磨场景，再通过物理感知执行器保障场景的物理合理性，最终生成视觉真实、物理合规、精准对齐用户指令的3D室内场景。

整体架构对应框架图可分为三大核心组件：

左侧：标准化工具集（Tool Cards）——按生成粒度分为初始化、细节补全、优化修正三类，是场景生成的能力底座；
中间：自反思规划器 + 物理执行器——智能体的「大脑+手脚」，分别负责决策调度与物理落地；
右侧：多源资产库（Assets） + 最终场景输出——提供3D物体素材，支撑场景从抽象布局到实体模型的落地。

二、方法详细讲解

2.1 标准化工具接口（Tool Cards）

这是框架可扩展性的核心。论文将所有场景合成方法按生成粒度抽象为三大类工具，每个工具都有标准化的「工具卡片」（包含功能、适用场景、优缺点、输入要求），可以像插件一样自由接入/替换，无需修改整体智能体框架。

对应框架图左侧的三栏，三类工具分别承担不同阶段的生成任务：

（1）场景初始化工具（Initializer）

核心作用：生成完整的场景级基础布局，作为整个合成流程的起点。
三类具体工具，覆盖不同生成需求：
- 数据驱动模型（如PhyScene、ATISS）：基于3D-Front等人工标注数据集训练的生成模型，生成的布局整洁、资产质量高；但仅支持客厅、卧室等少数预定义场景类型，细节丰富度低。
- 真实场景转仿真（Real2Sim，如MetaScenes）：从真实扫描的室内场景中提取布局，自带真实场景的细节与空间合理性；但布局固定，需要后续修改才能适配用户定制化需求。
- LLM生成（如GPT/LayoutGPT）：由大语言模型生成布局，支持任意开放词汇的场景类型，灵活贴合用户指令；但空间推理能力弱，布局的物理合理性较差。

（2）微场景补全工具（Implementer）

核心作用：在基础布局上补充微观细节（比如桌面、货架上的小物件），解决全场景生成方法普遍细节不足的问题。
两类工具各有优劣，互为补充：
- 2D引导工具（如ACDC、Architect）：先通过2D生成模型生成局部区域的参考图，再映射为3D资产摆放。优点是物体间空间关系真实、朝向准确，非常适合成组添加桌面小物件；缺点是速度慢，无法添加墙面、地面物体，也不能往容器内部放东西。
- LLM工具（GPT）：由大模型规划物体位置并添加。优点是位置准确，支持往柜子/货架内部放物体，也能添加墙面装饰；缺点是物体的朝向精度较差。

（3）细节优化工具（Refiner）

核心作用：修正前序生成带来的错误（比如物体朝向错误、语义不符、摆放混乱），优化场景的合理性与整洁度。
典型工具代表：
- VLM朝向修正（Update Rotation）：用视觉语言模型识别物体朝向错误，调整旋转角度，比如修正面朝墙壁的床、背对桌子的椅子，仅改朝向、不移动物体。
- 规则化关系添加（Add Relation）：给物体添加显式空间关系约束（比如「椅子正对桌子」「柜子靠墙」），让场景更规整；优点是快速优化秩序，缺点是不能修正物体位置错误。
- LLM物体移除（Remove Object）：识别并删除语义错误、严重错位、冗余拥挤的物体，比如移除餐厅里的床、超出房间边界的物体。
- 此外还有尺寸调整、布局重排等工具，用于修正物体大小和整体位置分布。

2.2 自反思规划器（Planner）

对应框架图中间的粉色模块，是整个智能体的决策核心，基于**Reason-Act-Reflect（推理-执行-反思）**的闭环范式运行，遵循ReAct风格的推理流程，基于OpenManus平台实现。

整个循环包含四个环节，不断迭代优化：

Think（推理决策）
规划器接收用户指令、上一步的场景状态、反思反馈和历史记忆，先总结当前场景的核心问题（比如「完成度低，货架是空的」「洗衣机朝向错误」）；然后从工具集中筛选适配的工具并给出0-1的置信度，最终选择一个最优工具，生成具体的执行指令（比如「在货架里添加洗衣用品」）。
它会动态调整工具置信度：如果某个工具多次失败，就降低其优先级、换用其他方案；如果场景已经达到质量要求，就触发停止条件。
Action（执行动作）
规划器将决策出的工具指令发送给执行器，由执行器完成具体的场景修改。
Feedback（反馈采集）
执行器完成修改后，输出新的场景状态：包含3D布局数据和顶视角渲染图，同时统计物理指标（碰撞物体对数量、越界物体数、物体总数）。
Reflection（反思评估）
调用多模态大模型（如GPT-4），结合场景渲染图、布局数据和用户原始指令，从四个维度打分（0-10分）：
- 视觉真实感（Realism）
- 功能合理性（Functionality）
- 布局逻辑性（Layout）
- 场景完成度（Completion）
  同时输出自然语言的问题分析与改进建议，作为下一轮推理的输入。如果评估发现场景质量异常下降，规划器可以回滚上一步操作、重新规划。

当评估分数达到阈值、或没有可优化的显著问题时，循环终止，输出最终场景；论文中设置最大迭代次数为10次。

2.3 物理感知执行器（Executor）

对应框架图中间的蓝色模块，是智能体的「执行手脚」，基于Infinigen与Blender构建，核心是把抽象的布局草稿转化为真实3D资产，并通过物理优化保障场景的可交互性。

它主要完成三项工作，对应图中的三个图标：

资产替换：根据工具输出的布局（语义标签+位置+尺寸），从资产库中匹配对应的3D模型，替换掉抽象的包围盒。
关系约束对齐：根据优化工具生成的空间关系（比如靠墙、正对桌子），调整物体的位置与姿态，满足约束要求。
物理优化（Physical optimize）：执行固定步数的物理模拟优化，解决两个核心问题：
- 碰撞（Collision）：消除物体之间的穿插重叠
- 越界（Out of bound）：修正超出房间边界的物体
  最终保证场景零碰撞、零越界，在仿真环境中具备稳定的物理可交互性。