物理世界模型驱动：Franka Research 3 机械臂的“零样本”进化之路

核心挑战：从“视觉合理”到“物理准确”

目前的视频生成模型（如Veo3）已经能够根据文字指令生成高度逼真的操作视频 。然而，直接将视频中的像素运动（Pixel Motion）映射给机器人往往会失败。这是因为生成的视频虽然在视觉上看起来很合理，但往往忽视了真实的物理约束，且经常出现“幻觉手”或运动模糊等问题 。

对于Franka Research 3这种精密的研究级机械臂，执行任务需要极高的物理准确性。PhysWorld 的出现，正是为了建立一个“中介物理世界模型”，将隐含的视觉引导转化为物理上可执行的机器人轨迹 。

图1：PhysWorld：一个基于视频生成的机器人学习框架。给定图像和任务提示作为输入（第1列）， 我们的方法生成一个任务条件视频（第2列），并重建潜在的物理世界以支撑生成的视觉效果 将演示转化为物理上可行的机器人动作（第3列），从而实现现实世界中的零样本机器人操作。

PhysWorld框架：FR3的“数字孪生”训练场

PhysWorld并不直接让机械臂模仿像素，而是通过以下五个精密步骤，在模拟器中为FR3重建一个“数字孪生”场景 ：

任务驱动的视频生成：给定一张FR3机械臂视野下的RGB-D图像和任务指令（如“将平底锅里的番茄倒入盘中”），系统生成一段演示视频 。

几何对齐的4D重建：利用 MegaSaM等工具从视频中提取深度信息，并结合实时深度图像进行尺度校准，生成符合真实度量标准的4D点云 。

纹理网格与物理场景构建：系统会为物体和背景生成完整的3D网格。更重要的是，它利用视觉语言模型（VLM）估计物体的质量、摩擦系数等物理属性，并进行重力对齐和碰撞优化，从而在模拟器中构建出一个“数字孪生”场景 。

以物体为中心的残差强化学习：这是驱动FR3机械臂的核心算法。相比于模仿容易出错的“肢体运动”，PhysWorld选择跟踪视频中“物体的运动轨迹” 。

图2：PhysWorld流程。给定一个RGB-D图像和一个任务提示，我们的框架（i）生成一个任务条件视频，（ii） 从生成的视频中重建几何对齐的4D表示，(iii)生成带纹理的物体和背景网格，(iv)通过属性估计、重力对齐和碰撞优化将它们组装成一个物理可交互的场景，(v)学习 以对象为中心的残差强化学习策略，将视觉演示转化为可行的机器人动作，并(vi)部署到现实世界中。

残差强化学习：赋予FR3强大的鲁棒性

传统的运动规划在面对诸如“倾倒番茄”这类动态复杂的任务时，往往因抓取不稳或路径微小偏差而失败 。PhysWorld为FR3引入了 残差强化学习（Residual RL） 机制。

在这种模式下，FR3首先获得一个基础的“抓取与放置”规划路径作为 Baseline 。随后，RL 策略根据物理世界模型的反馈，学习如何对这个基础路径进行“微调”和“修正”。实验证明，这种方法让FR3即使在基础动作不完美的情况下，也能通过物理反馈自我纠正，成功完成任务 。

图3：残差强化学习与从头开始的强化学习。

实验表现：FR3的全能操作

研究人员在多种真实场景中测试了FR3 机械臂的表现，涵盖了以下多样化任务 ：

• 精细操作：擦拭白板、给花浇水。

• 整理放置：将书放入书架、将勺子放入锅中、将鞋放入鞋盒。

• 倾倒任务：将小鱼或番茄从锅中倒入盘子（这类任务对物理反馈要求极高）。

在针对10项真实世界任务的评估中，PhysWorld驱动的FR3达到了82% 的平均成功率，显著高于不具备物理建模的RIGVid（67%）等方法 。特别是在失败模式分析中，引入物理反馈后，FR3的抓取失败率从18%降低到了惊人的3% 。

结语：具身智能的新范式

通过PhysWorld框架，Franka Research 3机械臂证明了机器人可以绕过昂贵的人类演示，直接从互联网规模的视频数据中吸取养分 。这种通过“物理模型”作为桥梁，连接“视觉生成”与“真实动作”的路径，为构建通用的机器人基础模型提供了一个极具潜力的技术方案 。

虽然目前单目重建仍存在约7%的几何误差，但随着多视角融合和更高保真度模拟器的引入，FR3及其后继者将在更加复杂的开放世界中展现出惊人的适应力 。

项目链接：https://arxiv.org/pdf/2511.07416