当前位置：首页 > news >正文

CVPR‘26 Highlight | ParticleGS：首个物理驱动4DGS预测新范式，通向4D世界模型！

news 2026/5/7 10:52:53

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

作者投稿授权发布 | 来源：3D视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！

在探索4D世界模型的道路上，关键的一步在于不仅能复刻观测到的三维世界，更能推演未知的动态未来。

然而，当前的动态3D重建技术，如动态3DGS和NeRF，却存在一个关键不足：它们极度擅长“插值”回忆过去，却在“外推”预测未来时束手无策。当观测时间一旦停止，画面中的物体往往会发生违背物理常识的扭曲与崩坏。

收录会议：CVPR 2026 Highlight
论文链接：https://arxiv.org/pdf/2505.20270
Github链接：https://github.com/QuanJinSheng/ParticleGS

图1 ParticleGS能够学习潜在的物理动力学，从而以物理一致的运动和外观外推未来的高斯点云；相比之下，现有的时间条件方法则无法预测出合理的运动。

为了打破这一僵局，由浙江大学联合多所高校推出的最新研究成果ParticleGS给出了一种新的建模思路：抛弃对轨迹的死记硬背，让神经网络学习底层的神经物理规律。该框架实现了在无需人工设定繁琐的先验假设或几何网格的情况下，直接从RGB视频中学习3D高斯粒子的神经动力学，实现了极其稳定、符合物理直觉的未来运动外推。该成果凭借其基于物理的建模与4D预测上的突破，被CVPR 2026接收为 Highlight论文。

研究动机：为什么现有4D重建方法难以预测物理真实的未来？

怎样的4D生成与重建才算得上“世界模型”？关键在于对“时间”的理解。

现有的时间条件模型通常将物体的变形直接建模为时间的函数。这种“轨迹拟合”式的方法虽然在观测时间内表现优异，却因缺乏对底层物理规律的理解，在预测未来（运动外推）时极易出现物理上不合理的崩坏。由于缺乏底层的物理上下文，模型预测的轨迹就会严重偏离真实的物理规律。另一些尝试引入物理先验的方法（如注入纳维-斯托克斯方程），要么极度依赖人工设定的外部力场和严苛的假设条件，导致泛化能力极差；要么只能处理低阶的运动学信息，难以驾驭复杂的高阶变形。

核心洞察：现实世界中的运动往往是受高阶微分方程dx/dt=f(x,t)支配的，我们为何不把动态3D高斯场景直接重构为一个基于物理微分方程支配的粒子系统？与其让模型记住轨迹，不如让模型学习产生轨迹的动力学规律并在未来预测时遵循它，从而能推演出未来的轨迹。

图2 二维阻尼螺旋线上的玩具实验。（a）基准模型能很好地拟合训练数据，但在外推阶段表现不佳；(b) Neural ODE建模底层微分方程，捕捉到了螺旋动力学特征，即使在未观测区域也能保持正确的运动轨迹。

架构重构：ParticleGS的基于物理的建模范式

从“拟合时间”到“推演物理”，ParticleGS 提出了一套优雅的“编码器-演化器-解码器”框架，攻克了从纯视觉中学习物理运动规律的难题：

图3 ParticleGS框架概述。(a)现有方法：现有方法为每个独立的离散时间点分别学习形变模型。(b)ParticleGS：一个基于物理规律的框架，利用隐式物理状态来驱动3D高斯形变，从而实现运动外推。(c)动力学潜在空间编码器：负责为高斯点编码物理状态，并将其分解为静态属性与动态场。(d)Neural ODE演化器：通过对动态场在连续时间内的演化进行建模，从而学习底层的物理规律。

1.动力学隐空间编码器：对于包含数百万个 3D 高斯点的场景，如果独立演化每个点的物理状态，计算量将是一场灾难。研究团队从物质点法（MPM）中汲取灵感，将N个高斯粒子的物理状态巧妙地解耦为两部分：每个粒子的时间不变的“静态属性”（如质量、材质）以及全局粒子共享的F个“系统级动态场”（如引力场、风场）。这使得后续的时间演化时仅仅需要更新紧凑的F个动态场向量，从而计算复杂度从庞大的O(NG)降低为O(FG)，其中F≪N。实现了表示能力与计算效率的平衡。

图4 物理状态可视化。运动相似的高斯表现出相近的特征，并且随时间变化稳定。

2.基于神经常微分方程的演化器：为了突破人工嵌入的低阶速度场或特定场景下微分方程的瓶颈，团队引入了神经常微分方程（Neural ODEs）。由于任何高阶微分方程都可以等价地转化为增广状态空间下的一阶系统，该演化器能够以连续时间马尔可夫状态转移的形式，学习复杂的高阶物理动力学。简而言之：它不仅知道物体这一秒的速度，还理解了加速度和更深层的受力变化。

3.高斯核空间解码器：在将物理状态还原为视觉画面时，解码器采用Rodrigues旋转公式，将粒子的运动严格分解为平移和旋转变形。这种物理意义明确的解码过程，确保了最终渲染出的3D高斯变形在视觉上自然、符合刚体或柔性体的物理常识。

实验结果与分析

数值实验表明，ParticleGS 在多个数据集上的未来高斯外推中取得了最佳性能，并与现有的SOTA重建方法取得了相当的渲染质量：

外推预测精度：相比于HexPlane、DeformGS 等时间条件模型，以及注入了物理先验的模型（如NVFi），ParticleGS在未来预测任务上，在合成数据集上实现了超过5 dB PSNR的提升。即便面对基于速度场的方法（TRACE和FreeGave），ParticleGS依然在合成数据集上保持了近 2.5 dB的PSNR优势，并在真实世界的GoPro数据集中保持了性能优势。

重建任务精度：虽然ParticleGS的最大亮点在于其前所未有的运动外推能力，但这绝不是以牺牲基础重建质量为代价的。在动态3D重建任务中，ParticleGS均取得了与现有重建方法更好或相当的表现。

图5 未来时间下新视角的定性对比实验。ParticleGS的预测的运动更准确，模糊与伪影更少。