2025_NIPS_EgoExoBench: A Benchmark for First- and Third-person View Video Understanding in MLLMs

文章核心总结

主要内容

该研究针对多模态大语言模型（MLLMs）在第一人称（自我中心视角）和第三人称（外部中心视角）视频跨视角推理能力的空白，提出了首个专门的基准测试集EgoExoBench。该基准包含7330个选择题，涵盖11个子任务，聚焦语义对齐、空间对应和时间推理三大核心挑战，基于6个公开配对视频数据集构建。通过对13个主流MLLMs的评估发现，现有模型在单视角任务中表现优异，但跨视角任务性能显著下降，与人类90.1%的准确率存在巨大差距，且链式思维（CoT）提示对跨视角推理帮助有限，而跨视角参考信息可提升部分任务表现。

创新点

1. 首次构建跨视角视频理解基准，填补了MLLMs在第一、第三人称视频融合推理评估中的空白。
2. 设计三层任务框架（语义匹配、视角转换、时间推理）和11个子任务，全面覆盖跨视角推理的核心维度。
3. 结合标注衍生、LLM生成和人工标注三种方式构建高质量题库，并通过一致性验证和视觉依赖过滤确保可靠性。
4. 系统评估主流MLLMs的跨视角能力，揭示现有模型在视觉-语言交织推理中的短板，为后续模型优化提供方向。

翻译部分（Markdown格式）

Abstract

人类智能的本质在于能够在第一人称（自我中心）和第三人称（外部中心）视角间迁移与整合知识，这使人能够从他人经验中学习，并将自身洞察传递给他人。尽管多模态大语言模