MemoBench 评测：世界模型生成连贯画面易，记住世界状态难

现有评测难题待解

过去一年，“世界模型”成视频生成领域热门关键词，厂商强调产品要“模拟真实世界的运行规律”，世界模型是否具备“物体恒存”认知能力，成为衡量建模水平的核心标尺。然而，长期以来业界评测未能精准检验这一能力，绝大多数基准只考核物体持续可见时的帧间一致性，少数涉及遮挡的测试也多针对静态场景，无法验证模型对动态世界的记忆与推演能力。

MemoBench 应运而生

针对上述问题，来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出新的诊断性基准 MemoBench，这是首个面向动态环境的“消失 - 重现”世界建模评测基准，并已被计算机视觉顶会 ECCV 2026 接收。其一作 Haoyu Chen 为哈佛大学计算科学与工程专业一年级硕士生，师从哈佛大学计算机科学助理教授 Yilun Du。

该基准以 360 段高质量真值视频为基础，搭配自动化指标与语义化 VQA 评估体系，系统测试了 10 个主流世界生成模型，揭示了当前技术在记忆一致性上的核心短板：没有一个模型的“物体重现得分”超过 0.6（满分 1），无法稳定地让消失的物体“记得住、认得出、变得对”。这表明现有视频生成模型即便能生成视觉连贯画面，也几乎无法在物体重新出现时，正确恢复其在“消失期间”的状态变化，揭示了“生成画面逼真”与“真正理解世界”的显著差距，为下一代世界模型研发提供了可量化的诊断标尺。

核心设计：三段式范式考验模型能力

MemoBench 建立了 Visible–Disappear–Reappear（可见 - 消失 - 重现，可缩写为 V - D - R）的核心评测范式，用三段式结构精准探测模型是否维持了对物体的持久状态表征。每个测试样本遵循统一物理逻辑：可见阶段，目标物体完整呈现在视野内且处于持续物理变化中，模型可观察其初始状态与变化趋势；消失阶段，相机移开视线，目标物体离开视野，物理过程按自然规律持续演化；重现阶段，相机转回，目标物体重新进入画面，模型需准确还原其更新后的状态。这一范式考验世界模型的核心能力，是对“真实世界建模水平”的直接检验。

数据构建：合成与真实素材并行

基于上述范式，MemoBench 构建了合成与真实世界两条并行的数据流水线，共包含 360 段 1920×1080 分辨率的高质量 Ground - truth 视频，配上完整的几何标注与评测工具。合成子集有 196 段，在虚幻引擎 5 中渲染生成，覆盖多种环境和场景，附带多种数据，能支撑几何层面精准评估，重点测试大视角变化下的空间记忆能力；真实世界子集有 164 段，在可控室内环境中实拍完成，覆盖多种物理状态变化过程，用于检验模型对真实物理动态的记忆准确性。所有样本都经过人工标注，标记关键帧，划分三个阶段，作为评测指标计算的基础。

双线评测：确保评估全面可靠

MemoBench 设计了自动化量化指标 + VQA 语义评估两套互补的评估方案。自动化指标覆盖通用视频质量、记忆专属指标、提示保真度三大维度，所有核心分数均归一化到 0 - 100 区间。VQA 语义评估聚焦高层语义合理性，覆盖指令遵循、物体与背景一致性、记忆连续性、物理合理性四个诊断维度。为保证评估可靠性，所有问题都经过三轮筛选，最终人工与 VLM 判断的整体一致性达 92.9%，Cohen's κ 系数为 0.85，评估结果可信度高。

评测结果：暴露模型真实水平

研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型，得出核心结论：当前没有任何一个模型能可靠完成“消失 - 重现”的记忆任务。所有被测模型的物体重现分数（ORS）均未超过 0.6，在真正执行相机轨迹的模型中，“记忆连续性”维度的语义得分最高也只有 55.6 分。物体离开画面后，模型“记忆”快速退化，重现内容存在多种失败情况，合成场景常见“背景幻觉”，真实场景常见“身份漂移”。

对照发现：揭示评测与模型问题

评测还揭示了几组对照发现。一是“相机不动”会虚高一致性分数，传统指标存在盲区，如 LTX - Video 靠静止镜头获得高分，暴露了传统视频质量指标无法区分不同情况的问题，MemoBench 专门设计维度来识别这种现象；二是能控制相机不代表记得住物体，五个 CI2V 模型的物体重现分数差距悬殊，说明相机控制和模型记忆是两件独立的事，物体恒存需显式纳入训练目标；三是几何精确和画面好看往往不可兼得，3D 类模型中，Stable Virtual Camera 相机轨迹控制精准但视觉质量评分低，Matrix - Game 2.0 画面视觉质量高但相机轨迹跑偏，说明当前技术框架下几何准确和画面自然度未对齐；四是扩大模型不如给它看第一帧，消融实验表明，让模型清楚“看见”物体初始状态比单纯堆参数量对记忆任务更有用。

评测意义：指明研究改进方向

MemoBench 揭开了当前技术的短板，为“动态遮挡下的视觉记忆”这一长期被忽视的研究方向提供了可量化、可对比、可追踪的评测基础。对于研究者而言，它指出问题的同时暗示了改进路径，如持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计等。目前，论文、代码、数据集与公开榜单均已开源，研究者可使用评测工具测试模型并共享进展。从“生成好看的视频”到“维护一个真实的世界”，MemoBench 正在度量这段距离，让其有了刻度。