NeurIPS 2025|南开大学提出 VidEmo 实现更精准的情感解读

论文标题：VidEmo: AffectiveTree Reasoning for EmotionCentric Video Foundation Models

作者团队：南开大学、鹏城实验室、快手科技

发布时间：2025年11月4日

👉一键直达论文

👉Lab4AI大模型实验室论文阅读

✅Lab4AI平台提供AI导读和AI翻译等工具，辅助论文阅读。

⭐论文简介

现有的视频AI模型虽然能识别一些基本的表情（比如开心、生气），但在面对微妙、复杂或者不断变化的情绪时（比如“苦笑着摇摇头”所表达的无奈），就显得力不从心。情绪不是静态的，它依赖于动态的面部表情、肢体语言和上下文场景。

⭐你可以把这项研究想象成

以前AI看情绪：像小孩看图说话，只能说出“他在笑”或“他在哭”。

现在VidEmo看情绪：像一位经验丰富的心理医生，能通过你的发型、微表情、动作和场景，分析出你“强颜欢笑背后的疲惫”或“平静表面下暗藏的焦虑”。

⭐核心贡献

1. 提出VidEmo框架：它模仿人类理解情绪的思维过程，支持属性感知、表情分析和情感理解的三阶段推理。
2. 构建EmoCFG数据集：包含210万样本的大规模细粒度情感标注数据集，涵盖属性、表情、情感标签及对应的推理依据。
3. 实现性能突破：在15项面部感知任务中超越所有开源VideoLLMs，并在14项任务中超过Gemini 2.0。

⭐研究结果

• 整体性能：VidEmoT1（7B）在属性感知、表情分析和情感理解任务上的平均准确率分别达到86.3%、39.9%和69.3%，较最佳基线模型提升5.7%~21.3%。
• 细粒度任务：在微表情检测、身份验证等任务中表现突出。
• 下游任务适配：在DFEW和MAFW数据集上的情感识别任务中，较EMOLLaMA提升9.4%。