慕尼黑大学团队：AI终于学会像人类一样“推演未来“

这项由慕尼黑路德维希马克西米利安大学（LMU Munich）计算机视觉团队（CompVis）与慕尼黑机器学习中心（MCML）联合开展的研究，发表于2026年4月，预印本编号为arXiv:2604.09527。有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。该研究还获得了Netflix的研究资助，以及欧盟地平线项目、德国联邦研究部等多方支持。

**当你预测一个球会飞向哪里，你真的在脑子里"放电影"吗？**

人类有一种神奇的能力：只需瞟一眼台球桌，就能大致判断球击出后会弹向何处；只需看一眼街角，就能预测行人下一步的走向。更有趣的是，人类在做这种预测时，并不需要在脑海中把整个场景的每一个像素都渲染出来——你不会把木地板的纹理、墙壁的颜色、灯光的阴影都重新"画"一遍，你只是追踪那些"重要的运动"。

然而，目前几乎所有的AI视频预测系统做的恰恰相反。它们就像一个强迫症画家——要预测球会往哪飞，必须先把整张画面的每一个像素都重新画出来，包括背景的每一根木纹，天花板上的每一盏灯，然后才能从这幅"全景画"里提取出球的位置。这种方式不仅极其耗时，更像是用大炮打蚊子——浪费了绝大多数算力在与运动毫无关系的细节上。

慕尼黑团队的这项研究，正是要解决这个根本性的浪费问题。他们开发了一套名为**Myriad**的系统，让AI只追踪场景中"重要点"的轨迹，而完全跳过对整张画面的重绘。这个思路听起来简单，但背后涉及的技术革新相当深刻——而且实验结果证明，这样做不仅更快（快了成百上千倍），预测准确度还不逊于那些"先画画再推理"的庞大视频模型。

---

一、为什么现有的AI预测未来如此低效？

要理解这项研究解决了什么问题，先来看看当前AI系统是怎么工作的。

现有的视频生成模型，比如各大公司推出的文生视频或图生视频工具，本质上都是"像素生成机器"。当你给它一张图，让它预测接下来会发生什么，它会逐帧生成一段视频——每一帧都包含完整的画面内容，包括背景、光影、纹理，以及那些根本没有移动的静止物体。这个过程在计算上极为沉重，就像你每次想知道时间，都要先把整个手表重新制造一遍，而不是直接看表盘。

研究人员把这个问题叫做"视觉税"（visual tax）——为了获取运动信息，不得不额外支付"渲染整个画面"的计算成本。对于只想预测"这个球会滚向哪里"的任务来说，这笔税实在太贵了。

更深层的问题是，真实世界的运动往往需要多步推演。台球打出去之后，会碰到边框，再弹到另一个球，那个球再滚向袋口——这一系列事件是链式发生的，每一步都建立在上一步的基础上。如果一个模型试图"一步到位"地预测最终结果，它就必须在脑子里同时考虑所有这些碰撞和互动，这对模型的要求近乎无限。就像你不可能一眼看完一本悬疑小说然后立刻知道凶手是谁——你必须一页一页地读，一步一步地推理。

慕尼黑团队发现，解决这两个问题的方法其实可以统一在一个框架里：放弃渲染整张画面，只追踪场景中若干关键点的坐标；同时不要妄图一步预测到很远的未来，而是一小步一小步地向前推进。

---

二、Myriad的核心思路：只追踪重要的点，一步一步往前走

Myriad系统的工作方式，可以用"只盯着棋子，不管棋盘花纹"来理解。

给系统一张图片，然后在图上点选几个你感兴趣的点——比如台球桌上的几个球，或者街上行人的关节位置，或者一只猫的爪子尖。系统不需要知道背景是什么颜色，不需要渲染木纹或天空，它只需要回答一个问题：这几个点，在接下来的时间里，会分别移动到哪里？

这些被追踪的点叫做"稀疏轨迹"（sparse trajectories）。"稀疏"的意思是，你只关心几个关键位置，而不是画面里的每一个像素。这种表示方式极其高效——几十个坐标数字，远比几百万像素的视频帧要轻量得多。

系统采取的是逐步推进的策略。它不会直接预测"10秒后这些点在哪里"，而是先预测"0.01秒后这些点在哪里"，然后再预测"再过0.01秒后在哪里"，如此循环往复，一小步一小步地把轨迹延伸出去。这种方式有一个重要好处：每一步都是短时间内的局部运动，相对容易预测；而多步叠加之后，就能覆盖很长的时间跨度，同时自然地累积不确定性——越往后预测，结果就越发散，就像天气预报越往后越模糊，这是符合直觉的。

由于只处理坐标数字而非像素图像，系统的计算量骤降。根据论文中的数据，Myriad的采样速度达到每分钟约2200个样本，而同类视频生成模型的速度大约是每分钟0.05到0.7个样本——快了三到四个数量级，也就是数百到数千倍。

---

三、技术内核：扩散模型、自回归生成与流匹配

Myriad系统在技术上是如何实现这一切的？这里涉及几个核心概念，可以用"天气预报员的工作流程"来理解。

天气预报员不会直接告诉你"明天一定下雨"，而是给出概率分布："明天有70%的可能下雨，20%的可能多云，10%的可能晴天"。Myriad做的事情类似——对于每个被追踪的点，它不给出一个确定的未来位置，而是给出一个位置的概率分布，表示"这个点最可能去这里，但也有一定概率去那里"。

实现这种概率分布的技术叫做**流匹配**（flow matching）。可以把它理解成这样：给每个被追踪的点一个"噪声版本的未来位置"，然后训练一个神经网络，让它学会把噪声慢慢"净化"成合理的真实位置。这个过程类似于雕塑家从一块粗糙的石头里慢慢凿出精细的形状——一步步去除不合理的部分，最终呈现出符合物理规律的轨迹。

整个系统是一个**自回归变换器**（autoregressive transformer）。"自回归"的意思就是：系统基于已经发生的历史，预测下一步；下一步发生后，又用这个更新后的历史，预测再下一步。这和人类阅读一本书的方式一样——你看完每一句话之后，才能预测下一句大概会说什么，而不是一次性看完整本书然后再倒推每句话的意思。

更具体地说，系统的时间轴上的每一步，以及每个被追踪的点，都是按照严格的顺序生成的。数学上，这被表述为一个"因果分解"的联合概率——每个点在每个时刻的位置，都以"之前所有时刻的所有点的位置"为条件。这保证了轨迹之间的相互依赖关系被正确建模：如果一个球碰到了另一个球，后者的运动轨迹会因此改变，这种"碰了之后才改变"的因果逻辑被完整地保留在模型结构里。

系统还引入了一个叫做**运动令牌**（motion token）的概念。每个被追踪的点在每个时刻，会被打包成一个"令牌"，这个令牌包含三类信息：第一类是"这个点是什么"——系统从原始图片上提取该点的视觉特征，比如这是一根骨头还是一个轮子；第二类是"这个点现在在哪里"——当前的空间位置；第三类是"这个点的运动方向"——用傅里叶嵌入（一种把数字转换成丰富特征的技术）编码当前的速度向量。

为了区分不同被追踪的点，系统给每个点分配了一个随机的"身份向量"（trajectory ID）。这个向量是从高维球面上随机采样的，因此不同点的ID几乎互相垂直，可以被模型清晰区分。这种设计的妙处在于，它可以处理任意数量的被追踪点，不受固定数量的限制，也不会因为ID固定而导致模型产生位置偏见。

---

四、让系统跑得更快的工程细节：并行注意力块与缓存

系统的高速度不仅来自"不渲染画面"的设计思路，还来自一系列精心的工程优化。

传统的变换器（transformer）模型处理信息时，会依次执行三个操作：先做自注意力（让每个点和其他点互相"打招呼"），再做交叉注意力（让运动点去"看"图片特征），最后做前馈网络（进行非线性变换）。每一步都要单独计算，然后结果累加到隐藏状态里。这就像厨师做菜，先炒一道，装盘，再炒第二道，装盘，再炒第三道——每道菜都要单独开火、单独装盘。

Myriad采用了**并行变换器块**，把这三步合并成一步：自注意力、交叉注意力和前馈网络的输出被同时计算，然后一次性加回到隐藏状态。更进一步，系统把自注意力和交叉注意力合并成一个统一的注意力操作——把图片令牌和运动令牌拼在一起，通过一个精心设计的掩码矩阵来控制谁可以"看"谁：图片令牌只能被运动令牌看到，而图片令牌本身不需要"看"任何东西（因为图片是固定不变的输入）。这样，原本需要多次独立计算的操作被压缩成一次，大幅减少了GPU上的核心调用次数。

同时，系统充分利用了自回归生成中的**KV缓存**机制。在逐步生成轨迹时，已经处理过的历史信息（键值对）会被缓存起来，不需要在每一步都重新计算。这类似于你在看一本书时，不需要每次都从第一页重读到当前页，只需要记住已经读过的内容的"摘要"，然后接着往下读。

针对后验概率的流匹配头（flow matching head），系统也做了类似的缓存优化。流匹配头在采样时需要多次前向传播（默认50次），而其中的条件信息（来自主干网络的z向量，以及流匹配时间τ的编码）可以分别预计算和缓存，避免重复计算。

还有一个有趣的细节：真实世界的运动量分布极度不均匀——大多数点移动幅度很小，但偶尔会有大幅度的跳跃（比如一只球突然被猛击）。统计上说，运动量的分布有极重的"尾巴"（超额峰度高达647，而正常图像信号的该值约为-0.7）。为了让神经网络稳定处理这种极端情况，研究人员引入了**尺度级联**（scale cascade）技术：把运动量用一系列不同倍数的系数缩放，再分别通过tanh函数压缩，然后并排送入网络。小系数保留了细微运动的精细特征，大系数则把极端值"压扁"，防止异常值主导训练。这就像拍夜景照片时同时用多种曝光度拍摄，然后合成一张HDR图像——每种曝光度都捕捉了不同亮度范围的细节。

---

五、位置编码：让系统同时知道"现在在哪"和"从哪里来"

空间位置信息的编码方式是系统设计中另一个值得介绍的细节。

每个运动令牌需要告诉系统两个空间信息：这个点"现在在哪里"，以及"最开始在哪里"（也就是轨迹的起点）。知道起点有助于系统理解"这个点是一个台球"或"这个点是行人的肩膀"，因为视觉特征是在起点位置从图片上提取的。

系统使用了一种叫做**轴向旋转位置编码**（axial RoPE）的技术来编码这些空间信息。可以把它理解成一种特殊的"坐标标签"——每个令牌都带着一张标明了"x坐标、y坐标、时间步"的名牌，模型在处理时可以直接利用这些名牌来理解空间关系和时间顺序。

此外，系统还预留了一部分通道不附加位置编码，专门用于全局语义注意力——这允许系统做一些"不管在哪里，只看整体意思"的推理，类似于你在看一场足球比赛时，不仅关注某个球员的具体位置，也在感知整体的攻守阵型。

图片令牌（来自DINOv3-L/16图像编码器）和运动令牌共享同一套位置编码框架，确保两类信息在同一个坐标参考系下进行交互。

---

六、OWM基准：如何公正地评估"预测未来"的能力？

要证明Myriad确实比竞争对手好，需要一套公正的评测体系。然而，评测"未来预测"其实是个棘手的问题。

困难在于：未来往往不是唯一的。同一个初始状态，可能有多种合理的发展方向——台球可以偏左也可以偏右，行人可以加速也可以减速。如果一个模型预测了A，而真实发生的是B，这并不意味着模型错了，因为A也是完全合理的可能性。因此，不能简单地用"预测值减去真实值"来衡量好坏。

研究团队引入了**OWM（Open-World Motion）基准**，这是他们专门为开放世界运动预测设计的评测数据集。数据集包含95段来自真实世界的多样视频，覆盖室内外场景、刚性与非刚性运动、有自由意志（人/动物）和无自由意志（物体）的运动主体，以及单一和多智能体场景。所有视频都经过静态摄像头验证，避免摄像头运动干扰对场景运动的评测。

评测指标叫做**minADE_N**（最小平均位移误差）。具体操作是：让每个模型针对同一个场景生成N个不同的预测（因为模型有随机性，每次生成的结果略有不同），然后看这N个预测里哪一个最接近真实发生的情况，取那个最接近的来计算误差。这个"取最好的一个"的逻辑背后有一个重要假设：一个好的预测模型，应该能够生成覆盖真实未来的多样化猜测；只要它的猜测"够广"，总有一个会命中。

评测分两种模式。第一种叫**Best-of-5**：每个模型固定生成5个预测，取最好的那个。第二种叫**Best-within-5min**（主要评测模式）：给每个模型固定5分钟的时间在一台参考GPU上跑，允许它生成任意多的预测，然后同样取最好的那个。第二种模式的设计思路是：在相同的时间预算下，谁能探索更多的可能性，谁就更有实用价值。

除了OWM，研究团队还引入了两个物理场景的专项基准：来自PhysicsIQ数据集的"固体力学"子集（97个样本），以及来自Physion数据集的刚体碰撞子集（134个样本，排除了软体碰撞场景）。这两个数据集的运动遵循更严格的物理规律，测试的是系统对物理直觉的掌握。

---

七、实验结果：速度快了千倍，精度持平或更优

研究的实验结果可以从两个维度来理解：在同等样本数量下的精度对比，以及在同等时间预算下的效率对比。

在**Best-of-5**设置下（每个模型各生成5个预测），Myriad在OWM基准上的得分是0.029，而竞争对手包括：MAGI-1（4.5B参数）得0.037、WAN2.2（14B参数）得0.039、CogVideoX 1.5（5B参数）得0.051、SkyReels V2（1.3B参数）得0.058、SVD 1.1（1.5B参数）得0.054。Myriad以6.65亿参数实现了最低误差，而参数量最大的WAN2.2是它的21倍。

在**Best-within-5min**设置下，差距急剧扩大。Myriad在5分钟内可以生成大量样本（每分钟2200个），得分降至0.013。而视频生成模型由于速度太慢，MAGI-1最好也只能达到0.066，WAN2.2直接无法在5分钟内完成足够多的采样（标注为DNF）。核心原因正是采样速度的巨大差异：Myriad每分钟约2200个样本，SVD每分钟约0.7个样本，WAN2.2约0.14个样本——差距在百倍到万倍之间。

在物理场景的基准测试中，情况类似。PhysicsIQ上，Myriad的Best-of-5成绩为0.045，Best-within-5min为0.020，均优于所有视频模型基线。Physion上，Myriad的Best-of-5成绩为0.048，Best-within-5min为0.020，同样表现突出。

研究还额外训练了一个变体模型，使用了V-DPM三维追踪器获取的轨迹数据（将3D轨迹重投影到第一帧摄像机视角，以消除摄像机运动干扰）。这个变体在PhysicsIQ和Physion上的表现与主模型相当，在OWM上略逊，说明3D数据有助于提升物理场景的预测，但数据量较小（约150万视频，相比主模型的1000万视频）限制了其泛化能力。

---

八、规划台球击球：从预测到决策

Myriad不仅可以做"被动预测"，还可以用于"主动规划"——在给定目标的情况下，探索哪种初始动作能达到目的。

研究团队用台球规划任务来测试这一能力。场景是：给定一张台球桌的图片，要求把某个目标球打进指定的袋口。系统的工作方式是：不断尝试不同的击球方向和力度，对每个候选动作预测未来轨迹，然后用一个奖励函数评估每条轨迹"目标球离袋口有多近"，最终选出预期奖励最高的那个动作执行。

这个任务的关键挑战不在于预测单一未来，而在于大量探索反事实的可能性——"如果我向左偏5度会怎样？""如果力度轻一点呢？"——并且要在有限时间内探索足够多的可能性。Myriad的高速度使它能够在同样的时间内探索远比视频模型更多的动作候选。

实验在台球物理仿真器（python-billiards）上进行，所有模型都从零开始在仿真数据上训练，以确保公平对比。评估指标是"成功率"——目标球是否在规定时间内至少触碰到了目标位置。

结果相当显著。Myriad的成功率达到78%，接近仿真器直接运行的理论上限84%。相比之下，各类视频生成基线的成功率在8%到16%之间，而"全轨迹扩散"方法（一次性生成整段轨迹而非逐步推进）的成功率仅8%，Flow Poke Transformer（一步直接预测最终位置）的成功率仅4%。

后两个数字很能说明问题。Flow Poke Transformer的吞吐量其实很高（每分钟13422个动作），但精度太低——直接"一跳到终点"的方式无法处理台球这种涉及多次碰撞的复杂物理过程。全轨迹扩散方法则是另一个极端：它逐帧生成整段轨迹，但不是从第一步开始逐步推进，而是同时对所有时间步上的运动进行"去噪"——这意味着预测第50步的运动时，并没有以第49步的实际运动结果为基础，导致误差积累严重。研究还对比了在Myriad上直接用回归（而非概率分布）来预测下一步的变体，该变体成功率为36%，说明对于不确定性较低的台球物理，确定性预测也有一定效果，但仍逊于完整的概率建模。

---

九、模型会"知道自己有多不确定"吗？

一个好的预测系统，不仅要知道"最可能的答案是什么"，还要知道"自己有多大把握"。Myriad的设计允许评估后验不确定性——流匹配头在生成轨迹时，可以多次采样并计算预测的方差，作为不确定性的度量。

研究团队分析了这个不确定性度量与实际预测误差的关系。结果显示，在像素级精度以上的误差范围内（误差大于1/512的归一化图像宽度），模型的后验不确定性与最终预测误差高度相关，两者在对数-对数坐标系下呈线性关系。换句话说，当模型说"我不确定"时，它的预测误差确实更大；当模型说"我很确定"时，它的预测误差确实更小。这种"自知之明"在实际应用中非常有价值——系统可以根据不确定性高低决定是否需要更多探索，或者向用户标注哪些预测是可靠的。

---

十、消融实验：每个设计选择为何不可或缺

研究团队通过细致的消融实验验证了各个技术选择的必要性。

关于后验参数化方式，研究对比了三种方案：高斯混合模型（GMM）、无尺度级联的流匹配头、带尺度级联的流匹配头（Myriad的完整方案）。在OWM上，GMM方案的误差为0.110，无尺度级联的流匹配头为0.033，完整方案为0.029。GMM方案的另一个劣势是训练收敛极慢，而流匹配头在训练步骤数相同的情况下误差低超过10倍。这证明了流匹配在捕捉复杂运动分布方面的优越性，以及尺度级联对于处理重尾运动分布的重要性。

关于并行注意力块的速度提升，研究在批量大小为4、追踪16条轨迹、预测32个时间步的设置下对比了融合层与标准层的推理速度。融合后的速度约为标准层的2倍；在批量大小为1时，速度提升更大，约为3.7倍。这在实际使用中意味着：同样的时间预算可以多探索约2至4倍的可能性。

关于轨迹ID嵌入，对比了无嵌入、可学习嵌入和随机球面嵌入三种方案。在台球仿真的Best-of-5终点误差上，无嵌入方案在16条轨迹下误差为0.00150，可学习嵌入为0.00149，随机球面嵌入为0.00141。更重要的是，可学习嵌入在推理时无法泛化到训练时没见过的轨迹数量（比如训练用16条，推理用24条时直接失败），而随机球面嵌入可以零样本泛化到不同数量，仅有轻微性能下降。

关于多步推理的必要性，研究在台球仿真中对比了不同步长的方案：每步0.01秒（50步预测0.5秒）、每步0.05秒（10步）、每步0.5秒（1步，即一步到位）。误差分别为0.00141、0.00999、0.02823。步长越小、步数越多，误差越低。一步到位方案的误差是多步方案的约20倍，与台球规划任务中Flow Poke Transformer的低成功率相呼应。

---

十一、在经典行人轨迹预测任务上的零样本表现

研究还在一个完全不同的领域测试了Myriad的泛化能力：ETH-UCY行人轨迹预测基准，这是轨迹预测领域最经典的测试集，包含ETH、Hotel、Zara01、Zara02四个场景的真实行人轨迹。

所有竞争基线（SocialLSTM、SocialGAN、Trajectron、Trajectron++）都是在这个数据集的训练集上专门训练的，而Myriad完全没有见过任何行人轨迹数据，直接用在开放世界视频上训练的版本进行零样本评测。

由于原始数据提供的是俯视图的抽象坐标，而Myriad需要从真实图像出发，研究团队手动标注了对应关系，将俯视坐标转换到相机视角下，才能送入Myriad进行推理，最终再转回俯视坐标计算误差。

结果显示，Myriad的零样本表现与专门在域内训练的Trajectron++相当，在某些场景（如Hotel场景的Best-of-20设置）甚至更优。这说明Myriad在开放世界视频上学习到的运动模式具有良好的跨场景迁移性。

---

十二、模型的局限与未来方向

研究诚实地列出了当前系统的主要局限。

最主要的限制是对静态摄像头的假设。Myriad学习并预测的是相对于固定摄像机视角的像素坐标运动。当摄像机本身在移动时（比如手持拍摄的视频，或行车记录仪），场景中的静止物体也会在画面里"移动"，与真实的场景运动混在一起，难以区分。研究团队探索了一种补偿方案——用3D追踪器估计摄像机运动并在预处理时消除，但联合预测摄像机自运动与场景运动仍是未解决的重要方向。

另一个限制是对伪标注轨迹的依赖。训练数据中的轨迹来自TAPNext等现成追踪器的自动标注，而非真实的精确标注，因此继承了追踪器的噪声和偏差。在快速运动、遮挡严重或纹理匮乏的场景下，追踪器的精度下降，会直接影响训练数据质量。

---

归根结底，Myriad这项研究讲的是一个很朴素的道理：做一件事，应该只付出做这件事所需的代价，而不是顺带把所有周边工作都重做一遍。预测运动，就直接预测运动，不必先把整个画面重新画出来；预测远期未来，就一步一步慢慢走，不必妄想一跳到终点。这两个原则叠加在一起，带来了速度上的巨大提升，而精度并不因此打折。

这项研究的意义不仅仅在于台球规划或视频预测本身。更广泛地看，任何需要"快速评估大量可能未来"的应用场景——机器人避障、自动驾驶决策、游戏AI规划、灾难预警系统——都可能从这种高效的轨迹预测框架中受益。当一个系统能在几分钟内探索数千种可能性而不是只能评估五种，它所做出的决策质量会发生质的变化。

当然，静态摄像头的限制意味着它目前还不能直接用于行走机器人或驾驶场景，而对大规模伪标注数据的依赖也会在追踪困难的场景下带来误差。这些都是后续研究需要继续攻关的方向。对于感兴趣的读者，可以通过arXiv编号2604.09527查阅完整论文，项目页面也提供了更多可视化结果，地址是compvis.github.io/myriad。

---

Q&A

Q1：Myriad预测的是什么，和普通的视频生成有什么区别？

A：Myriad预测的是图像中若干用户指定关键点的未来轨迹坐标，而不是生成完整的视频帧。普通视频生成模型需要把每一帧画面的每个像素都重新渲染出来，计算量极大；Myriad只追踪几十个坐标点的位移，完全跳过画面渲染，因此速度快了数百到数千倍，同时精度不逊于视频模型。

Q2：Myriad的高速度在台球规划任务中带来了多大优势？

A：在台球击球规划任务中，Myriad的成功率达到78%，而最好的视频生成基线成功率仅16%。这种差距主要来自速度：Myriad每分钟能评估约496个候选动作，在固定时间预算内能探索大量击球方案，而视频模型每分钟只能评估约20个候选，探索空间极为有限。更快的探索直接转化为更高的命中率。

Q3：Myriad必须要有静态摄像头才能使用吗？

A：目前主要版本确实假设摄像头静止不动，这是它的主要局限。研究团队尝试了用3D追踪器估计并消除摄像机运动的方案，并在约150万视频上训练了对应变体，效果有所改善，但联合预测摄像机运动与场景运动仍是未解决的问题。因此当前版本最适合固定摄像头拍摄的场景，比如监控视频、实验室录像或体育场比赛录像。