【VR】 A CLIP-Hitchhiker’s Guide to Long Video Retrieval
note
- 本文提出了一种基于帧相关性加权的均值聚合（Weighted-Mean Pooling）方案，核心思路是对CLIP提取的每一帧特征分配权重，再加权求和得到视频级表征，而非均匀平均。即不训练复杂视频编码器，而是让文本 Query 从长视频中挑出相关帧，再加权聚合 CLIP 帧特征完成文本搜视频。
- 文本 Query 决定长视频里哪些帧更重要，再用这些关键帧组成视频表示。它比较了三种帧打分方式：
- Query-scoring：直接用文本和每帧的 CLIP 相似度打分，不新增可学习参数。
- Self-attention scoring：用 Transformer 根据视频内部信息给帧打分。
- Joint-attention scoring：文本和视频帧一起进入 Transformer 打分。
- 本文的核心贡献是提出了一种极简但高效的CLIP长视频时序聚合方案，仅通过单参数的查询加权均值就全面超越了此前所有复杂的时序建模方法，在四个长视频基准上达到SOTA。
文章目录
- note
- 一、研究动机
- 二、论文核心
- 1. 三种评分方法
- 2. 关键设计特性
- 三、实验结果
- 1. 长视频检索SOTA结果
- （1）MSR-VTT 1k-A测试集
- （2）ActivityNet Captions & Condensed Movies（CMD）
- 2. 长视频分类（Charades数据集）
- 3. 消融实验核心结论
- 四、结果分析与讨论
一、研究动机
A CLIP-Hitchhiker’s Guide to Long Video Retrieval
2022
当前视觉-语言预训练模型在图像分类、短图像检索等任务上表现优异，但在长视频理解这类需要高阶认知推理的任务上进展缓慢，核心痛点集中在三点：
- 视频-文本数据规模不足：大规模视频-文本配对数据的量级远低于图像-文本数据（CLIP使用了4亿对图像-文本，而公开视频-文本数据集仅千万级），导致端到端视频预训练模型的性能难以匹敌基于CLIP的「搭便车」方案。
- 现有时序聚合方法失效：此前将CLIP适配到视频任务的工作，尝试在CLIP帧特征之上添加自注意力、交叉Transformer等复杂时序建模层，但性能往往和最简单的帧特征均值池化（mean-pooling）相当甚至更差，说明复杂时序建模在长视频场景下并未发挥预期作用。
- 长视频的特性带来的挑战：长视频（数分钟及以上）中存在大量冗余帧，关键信息往往只持续几秒，均匀均值池化会稀释关键信息，显然不是最优的聚合方式。
因此本文的核心目标就是：为CLIP适配长视频检索任务设计简单有效的时序聚合方案，同时提供一个更强的基线，替代原有的均值池化基线。
二、论文核心
本文提出了一种基于帧相关性加权的均值聚合（Weighted-Mean Pooling）方案，核心思路是对CLIP提取的每一帧特征分配权重，再加权求和得到视频级表征，而非均匀平均。论文共探索了三种权重（帧相关性分数）的计算方式：
1. 三种评分方法
如图：
| 评分方法 | 实现方式 | 特点 |
|---|---|---|
| Query-scoring（查询评分，无参数） | 直接计算每一帧特征与文本查询的余弦相似度作为原始分数，再通过带温度系数τ的Softmax归一化得到权重：w k = e s k / τ ∑ j e s j / τ w_k=\frac{e^{s_k/\tau}}{\sum_j e^{s_j/\tau}}wk=∑jesj/τesk/τ，其中s k s_ksk是第k帧与查询的相似度。 | 无需额外参数，可零样本使用；检索复杂度随查询数线性增长，但实现简单，性能最优。 |
| Temporal Self-Attention（时序自注意力评分） | 将帧特征输入单/多层Transformer自注意力层，输出每个帧的标量分数，不依赖查询。 | 分数与查询无关，视频表征可离线存储，检索复杂度为O(1)；适合不需要查询引导的场景。 |
| Joint Attention（联合注意力评分） | 在自注意力层基础上，将文本查询嵌入拼接到帧序列末尾，同时做自注意力和跨模态注意力，输出帧分数。 | 分数受查询引导，语义相关性更强，但检索复杂度更高。 |
2. 关键设计特性
- 强约束性：所有方法最终都仅通过线性加权组合原始CLIP帧特征，没有修改特征本身，这种约束避免了复杂时序模型在小样本长视频数据上过拟合的风险。
- 灵活性：通过温度系数τ可以平滑调节权重分布：τ→0时退化为取最相关单帧，τ→∞时退化为均匀均值池化，实践中τ在0.05~0.15区间效果最好。
- 兼容性：该方案可直接迁移到长视频分类任务，只需将分类标签视为文本查询即可。
三、实验结果
论文在三个长视频检索基准和一个长视频分类基准上进行了验证，使用CLIP ViT-B/16作为基础编码器，端到端微调，测试时采样120帧/视频。
1. 长视频检索SOTA结果
看 Condensed Movies 和 ActivityNet：Query-scoring 明显超过 CLIP4Clip 的 mean/Transformer 聚合，证明对长视频有效
（1）MSR-VTT 1k-A测试集
| 方法 | 聚合方式 | 参数量 | R@1↑ | R@5↑ | R@10↑ | MnR↓ |
|---|---|---|---|---|---|---|
| Clip4clip (seqTransf) | 时序Transformer | 4M | 44.5 | 71.4 | 81.6 | 12.2 |
| CAMoE | SE注意力 | - | 44.6 | 72.6 | 81.8 | 12.2 |
| Clip2Video | TDB+TAB | 19M | 45.6 | 72.6 | 81.7 | 14.6 |
| Ours (Query-scoring) | 查询加权均值 | 1 | 47.7 | 74.1 | 82.9 | 11.5 |
（2）ActivityNet Captions & Condensed Movies（CMD）
| 数据集 | 方法 | R@1↑ | R@5↑ | R@10↑ | MnR↓ |
|---|---|---|---|---|---|
| ActivityNet | Clip4clip (mean) | 40.5 | 72.4 | - | 7.4 |
| ActivityNet | Ours (Q-score) | 44.0 | 74.9 | 86.1 | 5.8 |
| CMD | Clip4clip (mean) | 24.4 | 48.2 | 58.2 | 46.2 |
| CMD | Ours (Q-score) | 27.0 | 52.3 | 61.2 | 41.2 |
2. 长视频分类（Charades数据集）
| 方法 | 聚合方式 | 帧数 | mAP↑ |
|---|---|---|---|
| ActionCLIP | 复杂时序建模+多模板+多视图 | 32×10×3 | 44.6 |
| Clip4clip (seqTransf) | 时序Transformer | 32 | 32.0 |
| CLIP (mean) | 均值池化 | 32 | 33.0 |
| Ours (Q-score) | 查询加权均值 | 32 | 44.9 |
| CLIP (mean) 零样本 | 均值池化 | 32 | 17.5 |
| Ours (Q-score) 零样本 | 查询加权均值 | 32 | 21.1 |
3. 消融实验核心结论
- 评分方法对比：三种评分方法均显著优于均值池化基线，其中Query-scoring整体性能最优，尤其在查询语义明确、对应局部片段的数据集（如CMD）上提升最大；而ActivityNet由于是长段落密集描述，Self-Attention评分效果更好，因为不需要查询引导就能过滤冗余帧。
- 聚合方式对比：
- 软加权（Query-scoring）在微调场景下的性能显著优于硬Top-K聚合，平滑的权重分配更有利于训练收敛；
- 对帧特征加权后求均值的效果，远好于对帧相似度logits直接平均的效果。
- 帧数与温度系数的影响：
- 测试帧数越多，Query-scoring相对均值池化的优势越明显，符合长视频中关键信息稀疏的特性；
- τ在0.05~0.15区间效果最优，过小会导致梯度仅来自单帧，易引入噪声；过大则退化为均值池化，无法突出关键信息。
看抽帧数和温度系数的影响，工程上约 τ=0.05～0.15 较好，帧数增加到约 1 FPS 后收益开始减弱：
四、结果分析与讨论
论文进一步解释了加权均值方案有效性的深层原因：
- 长视频数据不足限制了复杂时序建模：随着下游训练数据规模增大，复杂时序建模方法的相对优势会上升，说明当前复杂时序方法失效的核心原因是长视频-文本配对数据不足，不足以支撑大模型训练，而加权均值的强约束天然抗过拟合。
- 均值池化后的特征位于新的嵌入空间：通过线性分类器和MLP可以轻松区分单帧特征和16帧均值特征（零样本下准确率89%，微调后达98%），说明多帧均值并没有映射到语义错误的空间，反而编码了新的多帧联合信息，这也是CLIP本身表征能力强的体现。
- 查询评分能优化单帧表征学习：即使在单帧检索设置下，使用Query-scoring微调后的模型性能也显著优于均值池化微调的模型，说明训练过程中加权机制会让对比损失更多关注语义相关的帧，反向优化了CLIP的单帧/帧级表征质量。
- 帧分数具有语义可解释性：可视化结果显示，高权重帧确实对应与查询语义匹配的内容，低权重帧多为冗余、无信息的画面，证明评分机制确实捕捉到了帧的重要性差异。