美国、沙特、澳大利亚、韩国2025年联合研究《在视觉领域基础模型定义新时代：调查和展望》

摘要：能够感知并理解视觉场景构成本质的视觉系统，是理解我们所处世界的基础。物体与其位置之间的复杂关系、现实环境中存在的模糊性及多样性，更适宜通过人类语言来描述——这种语言天然遵循语法规则，并融合了音频、深度等其他模态信息。那些经过训练、能够弥合不同模态与大规模训练数据之间差距的模型，有助于在测试时实现上下文推理、泛化能力及提示响应功能。这类模型被称为基础模型。其输出结果可通过人类提供的提示进行修改，而无需重新训练：例如，通过提供边界框来分割特定物体；通过询问图像或视频场景的问题来开展交互对话；或通过语言指令操控机器人的行为。本综述全面梳理了这些新兴基础模型，涵盖整合不同模态（视觉、文本、音频等）的典型架构设计、训练目标（对比式、生成式）、预训练数据集、微调机制，以及文本型、视觉型和异构型等常见提示模式。我们探讨了计算机视觉领域基础模型面临的开放性挑战与研究方向，包括模型评估与基准测试的困难、对现实世界的理解存在不足、上下文理解能力的局限、模型偏差以及对对抗性攻击的脆弱性等问题。本文系统而全面地综述了该领域近期的研究进展，涵盖了基础模型在广泛应用领域的研究成果。