真实场景 vs 仿真数据：大模型厂商为何集体转向真实数据

真实场景 vs 仿真数据：大模型厂商为何集体转向真实数据

标签：具身智能 | 仿真到真实迁移 | 机器人训练数据 | Sim-to-Real

一个值得思考的现象

这两年跟不少做具身智能的团队交流，发现一个明显的趋势：之前很多依赖仿真数据的厂商，开始大规模转向真实场景数据采集。

这背后是什么逻辑？

仿真数据的价值与局限

仿真数据的两大优势

第一，效率高、成本可控

仿真环境可以24小时不间断生成数据，一条数据几秒钟就能产出。成本主要是算力和时间，没有采集人员、场地、设备这些开销。

第二，标注质量高

仿真数据天然带有精确的真值标签——位置、姿态、运动轨迹这些都是精确已知的。不存在标注误差的问题。

仿真数据的根本局限

但仿真数据有一个无法克服的问题：分布偏移（Distribution Shift）。

仿真环境无法完美复现真实世界的所有特征：

plaintext

真实场景特征 仿真环境表现 ───────────────────────────────── 光照变化 相对均匀/可预设 表面材质 理想化/无磨损 遮挡情况 简化/可控 噪声类型 可控/简化 人员行为 预设/规律

这种偏移在算法验证阶段可能不明显，但一旦部署到真实环境，模型性能往往会大幅下降。这就是业界常说的 "sim-to-real gap"。

为什么现在转向真实数据

1. 技术迭代到了需要真实数据的阶段

具身智能的技术发展经历了几个阶段：

• 第一阶段：做demo验证可行性，仿真数据足够
• 第二阶段：算法优化迭代，仿真+少量真实数据
• 第三阶段：产品落地，需要真实场景的泛化能力

现在很多团队已经进入第三阶段，仿真数据的天花板已经触及。

2. 真实数据的成本在下降

过去真实数据采集成本高，主要是：

• 采集设备昂贵（高端工业相机、传感器）
• 标注成本高（3D标注、时序标注复杂度大）
• 场景获取难（工厂配合度低）

现在这些障碍在逐步解决：

• 消费级设备性能提升，成本下降
• 标注工具智能化，效率提升
• 专业化数据服务商出现，场景资源整合

3. 模型对数据质量的要求提高了

大模型时代，数据的数量重要，但质量更重要。

仿真数据可以提供大量"正确但单一"的数据，但真实数据能提供"复杂且多样"的分布。这对于训练具有强泛化能力的模型至关重要。

真实场景数据的采集难点

转向真实数据不是说转就转的，有几个核心难点需要解决：

难点一：场景覆盖度

真实工厂环境多样，如何在有限预算内覆盖足够的场景多样性，是个挑战。

难点二：数据质量控制

真实采集的数据，质量参差不齐，需要建立有效的质量控制体系。

难点三：标注效率

真实场景数据的标注复杂度远高于仿真数据，尤其是3D空间标注、时序动作标注。

Ego + UMI：一种可行的采集方案

在真实场景数据采集中，Ego（第一人称视角）和 UMI（夹爪式）融合方案正在成为主流选择。

Ego视角提供操作者视角，捕捉人机交互、自然操作动作。

UMI视角提供工具视角，记录精确的末端执行状态。

两种视角互补，能更完整地记录操作任务。

写在最后

仿真数据和真实数据不是对立的，而是互补的。

前期研发用仿真数据快速迭代，降低试错成本；产品化阶段用真实数据训练，确保落地效果。

关键是搞清楚自己的产品处于什么阶段，需要什么样的数据策略。