复旦大学首次推出音视频未来预测基准测试

当我们观看电影时，总能根据紧张的背景音乐和演员的表情猜到接下来会发生什么。但对于人工智能来说，这种看似简单的"预知"能力却一直是个难题。最近，由复旦大学、上海创新研究院以及新加坡国立大学联合开展的一项研究，首次系统性地测试了现有AI模型在这方面的表现，结果令人意外。

这项发表于2026年1月的研究名为"FutureOmni"，论文编号为arXiv:2601.13836v1，代表了AI领域在多模态未来预测方向的重要突破。研究团队发现，即使是目前最先进的AI模型，在结合声音和画面来预测未来事件方面的表现也只有64.8%的准确率，远低于人们的期望。

要理解这项研究的重要性，可以用自动驾驶汽车的例子来说明。当汽车的AI系统"听到"附近传来急促的喇叭声，同时"看到"一个行人正要穿越马路时，它需要立刻预判接下来可能发生的情况，并做出相应的安全决策。这种同时处理视觉和听觉信息来预测未来的能力，正是这项研究要解决的核心问题。

研究团队构建了一个名为"FutureOmni"的全新测试平台，就像为AI模型设计了一套"预知能力考试"。这套考试包含919个视频片段和1034道选择题，覆盖了从卡通动画到紧急救援、从教育内容到日常生活等8个主要领域。每个测试题目都要求AI模型根据当前看到的画面和听到的声音，从多个选项中选出最可能发生的未来事件。

特别值得注意的是，研究团队在设计这些测试题时格外用心，设置了四种"陷阱选项"来防止AI模型投机取巧。比如有些选项看起来在视觉上很合理，但如果AI忽略了音频信息就会选错；有些选项在听觉上说得通，但与画面内容不符；还有一些选项描述的是已经发生过的事情，或者因果关系颠倒的情况。这就像在考试中设置干扰项，确保AI必须真正理解音频和视频的综合信息才能答对。

研究团队测试了20个不同的AI模型，包括13个能同时处理音频和视频的"全能型"模型，以及7个只能处理视频的"专项型"模型。测试结果显示，表现最好的是谷歌的Gemini 3 Flash模型，准确率达到64.8%。虽然这个成绩在AI领域已经算不错，但距离人类的表现还有很大差距。

更有趣的发现是，那些只能处理视频信息的AI模型表现明显更差，最好的也只达到了49.7%的准确率。这清楚地表明，声音信息对于预测未来事件确实至关重要，就像我们在黑暗中通过脚步声判断有人接近一样，音频提供了视觉信息无法替代的重要线索。

研究团队还发现了一个有趣的现象：所有AI模型在处理包含大量对话的场景时表现最差。相比之下，它们在处理背景音乐或环境声音时表现更好。这就像人类学习语言一样，理解和预测基于语言内容的后续发展比简单的声音识别要困难得多。另外，视频时长也会影响AI的表现，太短的视频让AI缺乏足够的背景信息来做出准确预判，而太长的视频又可能让AI迷失在过多的信息中。

为了帮助AI模型提升这种"预知"能力，研究团队开发了一套名为"OFF"（Omni-Modal Future Forecasting）的训练方法。他们精心制作了7000个高质量的训练样本，每个样本都包含了详细的推理过程解释，就像给AI提供了一本"预测未来的教科书"。

这套训练方法的效果令人惊喜。经过训练的AI模型不仅在未来预测任务上表现更好，在其他相关任务上的表现也有了显著提升。比如，训练后的模型在理解音视频内容、回答相关问题等方面都表现得更出色。研究团队通过分析模型的"注意力机制"发现，训练后的AI能够更精准地关注视频中的关键帧和重要音频片段，就像人类在观看电影时会自然地注意到重要情节一样。

这项研究的意义远不止于学术层面。在实际应用中，这种技术可以显著提升自动驾驶汽车的安全性，让它们能更好地预判路况变化。在智能监控系统中，这种能力可以帮助提前识别潜在的安全威胁。在人机交互领域，AI助手可以更好地理解用户的意图并提供更贴心的服务。甚至在娱乐产业中，这种技术也能帮助创造更智能的游戏AI或更个性化的内容推荐。

研究团队对918个失败案例进行了详细分析，发现了AI模型预测错误的四个主要原因。首先，约52%的错误源于视觉理解能力不足，AI无法准确捕捉画面中的关键细节。其次，约31%的错误是因为AI虽然能分别理解音频和视频信息，但无法将它们有机结合起来进行综合推理。第三，约15%的错误来自音频理解能力的缺陷。最后，只有约3%的错误是由于缺乏相关知识造成的。这个分析结果表明，当前AI模型的主要瓶颈不在于知识储备，而在于感知和推理能力。

说到底，这项研究揭示了一个重要事实：让AI真正像人类一样"预知未来"，还有很长的路要走。但研究团队已经为这个领域奠定了坚实的基础，不仅提供了标准化的测试方法，还开发了有效的改进方案。随着技术的不断进步，我们有理由相信，拥有强大预测能力的AI将在不久的将来成为我们生活中不可或缺的智能伙伴。

对于普通人来说，这项研究意味着我们正在逐步迈向一个AI能够真正理解和预测复杂情况的时代。无论是更安全的自动驾驶，还是更智能的家居系统，这些技术进步最终都会让我们的生活变得更加便利和安全。当然，这个过程可能需要时间，但正如这项研究所展示的，科学家们正在不懈努力，一步步缩小AI与人类在理解和预测能力方面的差距。

Q&A

Q1：FutureOmni基准测试是什么？

A：FutureOmni是复旦大学等机构开发的全球首个音视频未来预测测试平台，包含919个视频和1034道题目，用来测试AI模型能否像人类一样根据当前的声音和画面预测接下来会发生什么事情。

Q2：目前AI模型的未来预测能力如何？

A：测试结果显示，最好的AI模型（谷歌Gemini 3 Flash）准确率只有64.8%，距离人类水平还有很大差距。特别是在处理包含对话的复杂场景时，AI表现更差。

Q3：OFF训练方法是如何提升AI预测能力的？

A：OFF方法通过7000个高质量训练样本，为每个预测场景提供详细的推理过程解释，就像给AI提供教科书一样。训练后的AI不仅预测能力提升，在其他音视频理解任务上表现也更好。