2025_NIPS_Scaling RL to Long Videos

文章核心总结与创新点

一、主要内容

本文提出了一套全面的框架LongVILA-R1，旨在解决视觉语言模型（VLMs）在长视频推理任务中的性能瓶颈，核心围绕长视频推理能力的规模化提升展开，具体包括三部分关键内容：

1. 数据集构建：创建了大规模长视频推理数据集LongVideo-Reason，包含104K带思维链（CoT）标注的问答对，涵盖体育、游戏、博客等多领域，同时划分36K样本用于监督微调（CoT-SFT）、68K样本结合102K开源视频数据用于强化学习（RL），并构建了LongVideo-Reason-eval基准，从时间、目标、空间、情节四大维度评估推理能力。
2. 两阶段训练 pipeline：
   • 阶段一（Long CoT-SFT）：基于MM-SP系统进行热身训练，通过高质量思维链标注赋予模型基础推理和指令遵循能力；
   • 阶段二（长视频RL）：采用GRPO算法，结合多模态强化序列并行（MR-SP）框架，解决长视频帧处理的内存和速度问题。
3. 高效训练框架：提出MR-SP框架，通过并行编码、视频嵌入缓存复用、序列并行预填充等策略，支持超长视频（最高8192帧）的RL训练，在单A100节点（8块GPU）上实现小时级视频（3600帧）训练，且训练速度提升2.1倍。
4. 实验验证：LongVILA-R1-7B在VideoMME等6个主流基准上表现优异，无字幕