论文阅读：MMA: Multi-Modal Adapter for Vision-Language Models

MMA：视觉语言模型的多模态适配器，主要用于改善文本与视觉分支表示之间的对齐，先分析 CLIP 不同层特征的“判别性 / 泛化性”，再只在高层插入一个带共享投影层的多模态适配器，让视觉和文本分支在学习任务特异知识的同时实现更好的跨模态对齐。

代码地址：https://github.com/ZjjConan/Multi-Modal-Adapter

创新点：

1.作者通过分析实验发现了CLIP模型不同层之间的性质有所不同：高层更判别，低层更泛化；文本分支比视觉分支更判别，且低层跨模态差距更大，为 适配器的插入位置提供依据;

2.论文设计了一个真正的多模态适配器 MMA，在视觉和文本两条分支中分别学习任务特异表示，并通过共享投影层建立跨模态桥梁，从而增强图文表示对齐。

主要架构：

1.MMA 的宏观设计：加在哪些层之间

作者从 CLIP 的图像分支和文本分支中，提取各层特征，训练线性分类器去做“识别样本来自哪个数据集”的任务，通过分析得到了两个关键观察：

1）在图像分支和文本分支中都存在类似规律：低层 特征更偏通用，跨数据集更稳定，而高层 特征更偏任务相关，更容易区分不同数据集。这意味着如果在低层上强行调太多，很可能破坏CLIP 已经学到的通用知识；如果想适应当前少样本任务，更适合动高层，因为高层本来就更接近任务判别信息；

2）文本特征通常比视觉特征更可区分不同数据集，且文本和图像在 低层特征空间中的语义差距更大，而到了高层，两种模态的语义距离反而更容易对齐。

进而得出了MMA 不应该加在低层，而更应该加在高层，因为低层本身就更通用，而且视觉 / 语言模态差得更远，若在少样本下硬去对齐它们，反而更容易出问题。

2.MMA 的微观设计

先分别把视觉特征和文本特征投影到一个较低维空间，接着两个模态都会经过同一个共享投影层（这个层是 视觉和文本共享参数 的，也就是说，两个分支会被拉到同一个共享特征空间里去处理，文中提到其作为 bridge，让 vision 和 language 的梯度能够传播到彼此，从而实现更好的模态对齐），最后，再分别通过各自模态专属的 Up 层，把共享空间中的特征映射回原始维度。

应用创新：

由于MMA和SPARC都是基于CLIP的模块，因此想着将MMA模块融入进去，做一个轻量级的处理模块，可以让模型对其的更加好，但是结果不太乐观，结果非常差：

目前最好的结果依然是引进SPARC之后的：

目前的模型结构是：以BLIP模型做为基线模型，将原始数据集转换成了可供BLIP模型训练的caption形式，训练之后得到的标签识别的不太稳定，由此引入了多标签识别，得到了一点提升，最后的模型就是引入上周看的SPARC模块达到了最优效果。