更高效的视频语义分割标注
大多数最先进的计算机视觉模型依赖于监督学习，即使用标注数据进行训练。但标注成本高昂，在语义分割（需要为图像中的每个像素关联标签）的情况下，成本更是成倍增加。视频中的语义分割标注成本更高，高到迄今为止还没有公开的带有逐帧标签的视频数据集；只有稀疏采样的帧被标注。但逐帧标注可以实现更稳健的模型训练和评估。
在今年冬季计算机视觉应用会议上，提出了一种新颖的人机交互框架，用于为完整视频生成语义分割标注，该框架能更高效地利用标注者的时间。
该方法交替进行主动样本选择（选取用于手动标注的最重要样本）和测试时微调（将手动标注传播到视频的相邻帧）。这两个步骤重复多次以确保标注质量。
在实验中，该方法将标注整个视频所需的点击次数减少了高达73%，同时保持了标签准确性（与真实标签的平均交并比大于95%）。
测试时微调
从一个经过预训练、用于执行视频语义分割的网络开始，目标是使其适应特定的输入视频，从而以极高的准确性帮助标注该视频。
该方法的灵感来源于人类标注者处理视频标注任务的方式。给定目标帧，标注者会自然地分析相邻帧以确定物体的正确类别。标注者也会参考同一视频中现有的标注。
提出了一种新的损失函数，该函数考虑了这两个信息源，以使预训练模型适应输入视频。损失的一部分惩罚连续帧之间不一致的语义预测（帧间的对应关系基于光流建立，光流表示物体在帧间的相对运动）。第二部分惩罚与现有人工标注不一致的预测。
主动样本选择
在该过程的每次迭代中，模型都会在算法主动选择并由标注者标注的样本上进行微调。这是一种主动学习，旨在自动识别信息丰富的训练示例，减少需要标注的示例数量。
主动学习的一个基本思想是不确定性采样。其理念是，如果网络以较低置信度预测样本的标签，则应选择该样本进行手动标注。
然而，仅靠不确定性采样存在缺点。例如，许多样本可能因为具有相同的视觉特征而产生低置信度预测，而不确定性采样会将它们全部添加到数据集中，而实际上只需要其中具有代表性的样本即可。
为了使选择策略更全面，进一步要求样本彼此不同，这种方法称为多样性采样。采用了一种称为基于聚类的采样技术，该技术自然会产生多样化的样本选择。
首先，利用分割网络目前学习到的特征集，在嵌入空间中对未标记样本进行聚类。然后选择质心样本（最接近聚类中心的样本）进行标注。
为了结合不确定性采样和多样性采样，首先选择不确定性最高的一半样本，并将它们聚类成 b 个簇，其中 b 是一次迭代的标注预算（允许的最大标注数量）。然后，选择 b 个簇质心并将其发送给人类标注者。通过这种方式，选择了彼此不同且具有高不确定性的样本。
标注帧、矩形块还是超像素？
在主动样本选择过程中，尝试了多种样本粒度。用户可以决定是标注整个帧（逐像素）、矩形块还是超像素（根据视觉相似性分组的不规则形状像素簇）。
观察到最佳粒度并非固定不变，而是取决于期望的标注质量水平。例如，要达到80%的平均交并比标签准确度，标注16x16像素的矩形样本需要的点击次数最少。要达到95%的平均交并比标签准确度，则标注帧样本需要的点击次数最少。
另一个有趣的发现涉及网络预测中物体边界的质量。在帧样本上训练的模型优于在不同粒度样本上训练的模型。这可能是因为帧级标注提供了最丰富的语义/边界信息。而超像素通常由来自相同物体的像素组成，因此传递的关于物体边界的信息较少。这是决定为任务使用哪种标注粒度时需要考虑的另一个因素。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
