AquaticCLIP: A Vision-Language Foundation Model and Dataset for Underwater Scene Analysis

AquaticCLIP：水下场景分析的视觉语言基础模型与数据集

代码链接：https:// github.com/BasitAlawode/AquaticCLIP

原文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=11380196

创新点：

1.将CLIP模型引入到水下场景分析当中，并自主构建大规模数据集，然后通过“人工+机器+清洗”的混合策略保证了文本的准确性与丰富性；

2.引入“双引导”机制（PGVE + VGTE），用学习到的视觉提示引导视觉特征聚合，再用视觉特征引导文本特征细化，实现了更深层次的跨模态交互；

3.引入对比损失，同时优化图像→文本和文本→图像两个方向的匹配概率。

主要框架：

（a） 输入图像-文本对集合，（b） 说明模型（MGPT）为图片生成文本描述，（c） 输入图像被划分为多个片段，并由图像编码器 Φv 处理以生成嵌入 Pi 的片段，（d） 生成的文本描述Si由文本编码器Φt处理以生成文本嵌入，（e） 和 （f） 文本描述 Si 随后通过图像-文本说明清理模块清理，生成精细描述 Sˆ i，随后与 GT 描述 Gi 结合，生成丰富的文本描述数据 Ci，图像和文本嵌入均通过（h）视觉引导文本编码和（g）提示引导视觉编码进行细化，学习到的提示词Ei引导补丁嵌入的融合，而初始化提示Qi则用于增强视觉表现，（i） 最终图像和文本特征通过跨模态对比预训练损失Lcont进行比对，确保文本与图像表示之间的关联更强。

其中cd都为典型CLIP中的处理模块，以下着重介绍g和h,这两个模块的主要作用就是加强信息的交互，对特征进一步加强：

1.PGVE：通过引入c模块学习到的视觉特征作为K值和V值，文本提示作为查询Q值，然后进入交叉注意力模块，可以增强与初始文本提示之间的联系，进而对patch根据语义相似度来进行排序，更好的抑制无关特征，捕捉更有效的上下文关系。

2.VGTE：在模块中，丰富的文本描述Ci被输入CLIP文本编码器，以获得对应第i张图像描述的文本表示Ti，这些表征随后会通过视觉引导的注意力层进行细化，该补丁包含Pi，在PGVE模块学习到的提示词Ei被串接为Vi，Vi作为关键Kt和值Vt，而文本表示Ti作为查询，然后进入注意力模块，从而进一步优化文本特性，增强了图像与文本之间的对齐。

下面是自己书面整理的一个模块总结：

GLIP运行结果展示：

COCO数据集运行结果：

对所有物体都有一个生成框外加一个描述，但是正确率不高，并且描述的不够丰富，因为是做零样本目标检测（无需微调就能直接检测出训练时没见过的类别），和论文中的平均精度（AP）相似都为46左右。例图如下：

之后我引入了国内的大模型，可以对图片生成更具体地描述：