当前位置：首页 > news >正文

Stable Mean Teacher for Semi-supervised Video Action Detection

news 2026/5/11 3:22:08

论文题目：【AAAI 2025】【Stable Mean Teacher for Semi-supervised Video Action Detection】
论文作者：Akash Kumar, Sirshapan Mitra, Yogesh Singh Rawat
发表平台：Proceedings of the AAAI Conference on Artificial Intelligence (AAAI 2025)

文章目录

- 论文的主要贡献
- 论文创新点
- 方法
- 实验
- 结论
- 个人声明

论文的主要贡献

视频动作检测（Video Action Detection）是一项极具挑战性的任务，它不仅要求模型识别出视频中发生的动作类别，还必须在每一帧中进行精确的时空定位。然而，获取这种逐帧、精细的标注极其昂贵且耗时，这严重限制了全监督模型的扩展性。

现有的半监督学习（SSL）方法大多面向图像分类或目标检测，直接应用于视频时面临两大痛点：

伪标签质量低下：在标注数据有限时，模型（教师模型）生成的时空定位伪标签往往边界模糊、背景噪声多，无法为学生模型提供可靠的监督信号。
时间维度割裂：传统的损失函数只关注单帧的空间准确性，忽略了视频的本质属性——时间连贯性。这导致预测结果在连续帧之间出现抖动、断裂，缺乏一致性。

图片说明：图1展示了Stable Mean Teacher在不同标注比例下（UCF101-24用10%标签，JHMDB-21用20%标签）的性能对比。左二图为UCF101-24结果，右二图为JHMDB-21结果。可以看到本文方法（蓝色圆点线）在所有标注比例下均显著优于2022年SOTA方法（红色方块）和有监督基线（棕色叉线），且已接近100%全监督性能（红色虚线）。这直观体现了方法在低标注场景下的巨大优势。
针对上述问题，本文提出了Stable Mean Teacher框架，通过两个核心创新组件显著提升了半监督视频动作检测的性能。

论文创新点

框架创新：Stable Mean Teacher
提出了一种专为视频动作检测设计的端到端师生半监督学习框架。它是对经典 Mean Teacher 的有效扩展，使其能够同时处理分类与时空定位一致性。
模块创新：错误恢复模块
- 核心思想：让一个独立的模块（EoR）专注于学习学生模型在带标签数据上犯的定位错误。
- 关键机制：EoR 在训练时只接受学生模型输出的粗糙定位图，并学习如何将其“修复”为精准的真值图。推理时，它将此修复能力迁移到教师模型生成的伪标签上，从而为无标签数据提供更高质量的监督信号。
约束创新：像素差异约束
- 核心思想：强制模型关注连续帧之间定位图的变化，而非孤立地看待每一帧。
- 关键机制：通过计算预测定位图在时间维度上的差分，并约束师生模型之间的差分一致性，迫使模型学习到动作边界的平滑位移，从而消除时间上的不连贯抖动。

方法

本节将严格依照论文图2的流程，从左至右详细拆解数据流与模块交互。

图片说明：图2是Stable Mean Teacher的整体框架图，是整个方法的核心流程图。它清晰地展示了从输入视频经过弱/强增强后分别进入教师和学生模型，再经过EoR模块和DoP约束的全过程。请读者务必对照此图阅读下文步骤解析。
输入数据准备

**输入视频 **：每一个训练样本。
数据增强：对同一视频生成两个视图：
- 弱增强视图：仅包含随机水平翻转。输入给教师模型，以保证其生成稳定、可靠的伪标签。
- 强增强视图：包含颜色抖动、高斯模糊、灰度化等。输入给学生模型，通过引入强扰动来增强学生的鲁棒性。

Step 1: 基础师生架构

模型结构：教师模型和学生模型结构完全相同，均基于 VideoCapsuleNet。
前向传播：
1. 接收，输出分类 logits 和原始定位图。
2. 接收，输出分类 logits 和原始定位图。
参数更新：教师模型参数 (\theta_{teacher})不参与反向传播，而是通过学生模型参数 (\theta_{student}) 的指数移动平均进行平滑更新：
(\theta_{teacher} = \beta \theta_{teacher} + (1-\beta) \theta_{student})
（其中 (\beta) 是衰减率，通常设为 0.99）。

Step 2: 错误恢复模块 —— 精修空间边界

输入输出：
- 模块输入：教师模型的原始定位图和学生模型的原始定位图。
- 模块输出：经过精修的定位图和。
训练逻辑：
1. EoR 模块（使用一个轻量的3D U-Net）与学生模型联合训练。
2. 梯度隔离：关键设计！EoR 模块的梯度不会回传到基础的学生模型中。这保证了 EoR 专注于“修复”错误，而不是去改变基础模型的原始预测，确保了其类无关的泛化修复能力。
3. 在带标签数据上，EoR 学习将学生受强扰动影响的粗糙定位图修复成精准的真值标签，损失函数为 MSE。
伪标签生成：对于无标签数据，训练好的 EoR 模块用于修复教师模型生成的伪标签，产生更高质量的伪标签。

Step 3: 像素差异约束 —— 注入时间一致性

动机：EoR 提升了单帧空间精度，但未考虑帧间关系。DoP 约束迫使模型关注相邻帧定位图的变化是否一致。

图片说明：图3直观展示了DoP的核心思想。第一行为原始视频帧（左侧静态背景，右侧动态背景）；第二行为对应真值的帧间像素差异图。白色轮廓表示相邻帧之间发生变化的像素（即动作边界位移）。DoP正是通过约束这种差分图在师生模型间的一致性，来强制模型预测在时间轴上平滑变化。

计算方式：
1. 计算时间差分：对教师定位图和学生定位图，分别计算其在连续帧之间的差异：(\phi(x^f) = x_{loc}^{f+1} - x_{loc}^{f})。
2. 施加一致性：通过 MSE 损失，约束教师定位图的差分与学生定位图的差分保持一致，同时也约束EoR精修后的教师定位图差分与学生定位图的差分保持一致。
效果：这相当于在优化过程中加入了一个“运动平滑”的正则项，强制模型的预测在时间轴上连贯变化。

Step 4: 损失函数与优化
模型的总体损失函数由监督损失和无监督损失两部分加权组成：
[ \mathcal{L} = \mathcal{L}_s + \lambda \mathcal{L}_u ]

监督损失：仅在带标签数据上计算，包含学生模型的分类损失和定位损失。
无监督损失：在*所有数据（含无标签）*上计算，包含三部分：
1. 基础一致性损失：教师与学生原始输出的分类（JSD散度）和定位（MSE）一致性。
2. EoR 损失：EoR-教师精修定位图与学生原始定位图之间的 MSE。
3. DoP 损失：上述定义的像素差异一致性约束。

实验

性能卓越，低标注下接近全监督：在 UCF101-24 数据集上仅用10%的标注数据，性能已十分接近使用 100% 数据的全监督基线，并在多个指标上超越之前的 SOTA 半监督方法。

图片说明：表1全面对比了全监督、弱监督和半监督方法在UCF101-24（10%标签）和JHMDB21（20%标签）上的性能。Stable Mean Teacher（加粗行）在所有半监督方法中取得最优成绩，且显著优于有监督基线（+20.4%/14.1%），充分证明了方法在低标注场景下的有效性。
3.模块消融验证有效性：
-EoR 模块：尤其在 JHMDB-21 这种需要精细分割的数据集上效果显著，验证了其修复空间边界的能力。
-DoP 约束：对视频级 mAP（v-mAP）的提升尤为明显，直接证实了其增强时间连贯性的作用。
-两者协同：EoR 和 DoP 结合使用达到了最佳性能，证明了空间精修与时间平滑是相辅相成的。

EoR 负责让每一帧的检测更准（空间精度），DoP 负责让帧与帧之间的检测更稳（时间一致性），二者协同作用，共同提升视频动作检测的整体性能。

鲁棒性分析：模型在动态背景场景下（背景变化大）比静态场景下相对提升更大（27.7%），说明该方法对复杂时序变化有更强的适应力。

图片说明：图5左侧对比了静态场景与动态场景下的性能增益。动态场景更具挑战性，但本文方法在动态场景下的相对性能提升（Δ=27.7%）远高于静态场景，证明了模型对复杂时序变化具有更强的适应力。
图5中间分析了不同标注比例下的性能增益。标注率越低（从20%降至10%），半监督方法相较于全监督基线的增益越大，印证了该方法在低标注资源场景下的核心价值。
图5右侧对比了2D EoR与3D EoR架构的性能。结果显示3D EoR明显优于2D EoR，这表明利用时序维度的3D卷积更适合处理视频中的时空定位错误修复。

泛化能力：在视频目标分割（VOS）任务上的成功应用，证明了 Stable Mean Teacher 框架不仅限于动作检测，对其他视频密集预测任务同样有效。

结论

Stable Mean Teacher 通过精巧的 EoR 模块和简洁的 DoP 约束，系统性地解决了半监督视频动作检测中伪标签质量低和时序不一致的两大核心难题。该工作不仅在多个基准上取得了领先结果，其设计思想（如梯度隔离的修复模块、时间差分一致性约束）也为后续视频理解领域的半监督学习研究提供了宝贵的思路。