韩国大学与天主教大学联手打造的视觉标记压缩新方案

这项由韩国大学、天主教大学及AIGEN Sciences联合开展的研究，以预印本形式发布于2026年7月，编号为arXiv:2607.04605，感兴趣的读者可通过该编号查阅完整论文。

当你用手机搜索"穿蓝色外套的人站在红色跑车旁边"这张照片时，系统需要快速在数百万张图片中找到最匹配的那一张。这背后涉及一个核心问题：计算机究竟是把整张图片当作一个整体来理解，还是能细致地识别图中每一个局部细节？这项研究正是围绕这个问题展开的。

一、为什么图像检索不是"一眼扫过去"那么简单

把图像检索的过程想象成图书馆里的查书工作。早期的方式是给每本书贴一个总结标签，查书时就用关键词和标签对比，找到最接近的就行。这种方式速度快，但一旦你的查询非常具体——比如你要找一本"封面左上角有棵橡树、右下角有一只猫、书名用红色字体印刷"的书——仅凭一个总结标签就很难精确定位了。

多向量视觉-语言检索（Multi-vector Vision-Language Retrieval）的出现，就是为了解决这个"细节定位"难题。它不再只给图片贴一个总结标签，而是把图片拆解成数百个乃至上千个局部"小标签"（即视觉标记，visual tokens），每个小标签对应图片的某个小区域或某种局部特征。当你提出一个具体的文字查询时，系统会把查询语句也拆成若干小片段，然后用每个文字小片段去和图片里所有的小标签逐一比较，找到匹配度最高的那个。这种方式叫做"最大相似度晚期交互"（MaxSim late interaction），它让检索系统能够捕捉到对象、属性、位置关系等细粒度的视觉证据。

目前业界最具代表性的实现是ColPali和ColQwen2这两个系统。ColPali基于大型视觉-语言模型，能为每张图片生成超过一千个局部视觉标记；ColQwen2则建立在Qwen2-VL之上，支持更灵活的图像表示方式。这两个系统在细粒度图像检索任务上表现出色，但随之而来的问题也很棘手——每张图片存储上千个标记，数百万张图片的索引会消耗巨大的存储空间，而检索时还需要把每个查询标记和每张图片的所有视觉标记逐一比较，计算量极为惊人。

二、压缩视觉标记，为什么说起来容易做起来难

面对存储和计算的双重压力，最直接的想法是把图片的视觉标记数量压缩下来，从一千多个减少到几十个。这在技术上有两种主要思路：一种是"剪枝"，直接删掉一些认为不重要的标记；另一种是"合并"，把相似的标记聚合成一个代表性标记。

然而，这里有一个根本性的难题：图片的哪部分"重要"，完全取决于用户会问什么问题。同一张街头照片，有人可能关心"路边的咖啡馆招牌"，另一个人关心"穿条纹衣服的行人"，还有人关心"远处的红绿灯"。在不知道未来查询的情况下，贸然删除某些局部信息，就可能让系统在面对相关查询时找不到对应的视觉证据。

更棘手的是，即使选择"合并"而非"剪枝"，也存在一个隐患：如果只是简单地把视觉上相似的标记合并在一起，那么图片中两个外貌相似但实际上是不同对象的区域，很可能被错误地融合成同一个代表性标记。比如一张图片里有两个都穿黑色外套的人，纯粹基于外观相似性的合并算法可能会把这两个人的视觉信息混合在一起，导致系统在接到"左边那个戴帽子的男人"这类精确查询时，无法区分两者的差异。这个问题被研究者称为"跨实例混合"（cross-instance mixing），是细粒度视觉检索中的一个关键失效模式。

三、SaMer的核心思路：让压缩"懂得"尊重对象边界

面对上述挑战，研究团队提出了一个名为SaMer（Semantic-aware Merging，语义感知合并）的框架。这个框架的核心理念是：压缩视觉标记时，不仅要考虑标记的外观相似性，还要考虑空间位置，更关键的是——要尊重图像中不同对象实例的边界，避免把属于不同对象的视觉信息混合在一起。

整个系统的工作流程可以分成四个环节，彼此紧密衔接。第一步，冻结的视觉编码器和语言编码器分别对图像和查询文本进行编码，提取出各自的内部表示。第二步，一个共享的投影层把图像和文本的表示统一映射到同一个向量空间，使两者可以直接比较相似度。第三步，图像侧的N个视觉标记被压缩成K个代表性标记（其中K远小于N，默认设置为64）。第四步，用这K个压缩后的代表性标记与查询标记进行MaxSim晚期交互，完成检索评分。

压缩的具体机制是SaMer的技术核心。每个视觉标记不仅携带自身的语义特征向量，还有一个表示其在图像中位置的空间坐标。SaMer在衡量"两个标记是否应该被合并在一起"时，同时考虑两个维度：一是特征相似性——两个标记的语义向量是否接近；二是空间连贯性——两个标记在图像中的位置是否相邻。用一个公式来描述这个距离：距离等于（1减去特征点积）再加上γ乘以位置距离的平方，其中γ是控制空间项强度的参数。特征项负责把语义相似的标记归为一组，空间项则防止视觉相似但物理位置相距很远的区域被过度合并。

在完成距离计算后，SaMer并不像传统聚类那样硬性地把每个标记分配给某一个代表——而是采用"软分配"（soft assignment）的方式。每个标记对每个代表的贡献度，通过一个基于温度参数的softmax函数来决定，距离越小的代表获得越高的权重。最终，每个代表性标记是所有分配给它的原始标记的加权平均，并经过归一化处理。这种软分配的方式比硬分配保留了更多细粒度的信息，实验中也验证了它优于均值聚合、中心点选取等其他合并变体。

四、训练时的"对象感知先验"：一个只在学习阶段发挥作用的小技巧

SaMer最有趣的设计之一，是它在训练阶段引入了一种"对象感知合并先验"（object-aware merge prior），但在实际使用时完全不需要。

具体来说，在训练过程中，SaMer会使用图像的对象标注信息（即图像中每个对象所在的矩形框，bounding box）。对于每个视觉标记，系统根据它在图像中的空间坐标，给它打上一个标签：如果这个标记位于某个对象的框内，就标记为该对象实例；如果同时位于多个框内，就归属于最小的那个框；如果不在任何框内，就标记为"背景"。

有了这些标签，SaMer就能估算出每个代表性标记当前"包含了哪些对象实例的信息"。具体做法是：先用不传递梯度的硬分配算出每个代表主要由哪些标记构成，再统计这些标记的对象标签分布。如果要把一个属于对象A的标记，合并进一个主要由对象B的标记构成的代表，这个操作就会受到一个惩罚（penalty）——惩罚大小等于1减去该对象标签在该代表中的占比，换句话说，跨实例的合并会获得更低的权重。

这个惩罚项被加入到前面提到的距离计算公式中，通过软分配的温度参数影响最终的合并结果。重要的是，这个惩罚项不是一个单独的监督信号或辅助损失函数，而是直接融入了合并权重的计算。梯度通过软分配权重流回到投影层，让投影层学会产生在合并之后依然能有效保留对象级别语义区分性的特征表示。

到了实际检索阶段，SaMer完全抛弃对象标注信息，只使用特征-空间联合距离进行软分配。这意味着它不需要额外的目标检测模型，也不需要人工标注数据，整个压缩过程在推理时是完全自动化和无标注的。对象感知的先验，已经在训练过程中"内化"进了投影层的参数里。

五、只更新一个投影层：最小代价换取最大兼容性

SaMer在适应阶段只更新图文共享投影层（shared projection layer），而视觉编码器和语言编码器全程保持冻结。这个设计选择背后有一个务实的考量。

原始的ColPali或ColQwen2，其投影层是在"每张图片使用全部N个视觉标记"的假设下训练的。当SaMer把标记数量压缩到K=64时，投影层输出的特征向量，在经过合并操作后，未必还能很好地支持MaxSim检索。因此，需要用压缩后的K个代表性标记计算出的MaxSim评分，来反向更新投影层的参数，让它适应这种压缩后的工作模式。

研究团队使用的是多正样本InfoNCE检索损失（multi-positive InfoNCE loss）——这是对比学习领域的经典损失函数。对于一个文字查询，批次中所有与之匹配的正样本图片都应该获得高分，而负样本图片获得低分。通过这个损失函数，投影层会逐渐学会：在合并操作之后，合并出来的K个代表性标记，依然能够有效地支撑MaxSim检索。

整个适应过程在Flickr30K-Entities的训练集上进行，共训练约1746步，使用学习率2×10??、权重衰减1×10??、余弦学习率调度（含10%的预热阶段），在4块NVIDIA A100 80GB GPU上完成。视觉和语言编码器始终冻结，因此计算开销相对可控。

六、实验结果：压缩掉93%的标记，检索效果反而提升了

研究团队在四个数据集上评估了SaMer的性能，覆盖了自然图像检索、组合式图像检索和文档图像检索三种不同场景。

Flickr30K是自然图像检索的标准基准，也是SaMer适应训练所用的数据集（因此属于"域内"评测）。以ColPali为骨架，SaMer将K=64时的R@1（即检索结果中正确图像排在第一位的比例）从原始ColPali的77.0%提升到了82.4%。这个提升不仅超过了未压缩的原始模型，还超过了所有其他压缩基线方法。最强的对比压缩方法H-Pool（一种不知道对象信息、只靠特征相似性进行池化的方法），R@1仅为73.7%；SAP（基于结构锚点的剪枝）为68.3%；HPC（结合了量化和注意力引导剪枝）更低，只有54.0%。以ColQwen2为骨架时，SaMer将R@1从73.6%提升到79.3%，同样优于所有对比方法。

MSCOCO是一个域外评测基准（SaMer没有在MSCOCO上做任何训练），用来验证方法的泛化能力。ColPali骨架下，SaMer将R@1从47.4%提升到51.6%，ColQwen2骨架下从43.3%提升到47.5%，都显著优于H-Pool、SAP和HPC。

ImageCoDe是一个专门测试"细粒度区分能力"的数据集——这里面的图片往往在视觉上极为相似，只有某个细微的对象、属性或关系差异能区分正确答案和干扰项。ColPali骨架下，SaMer将R@1从5.4%提升到5.9%，nDCG@10从13.2提升到14.4。虽然绝对数值看起来不大，但在这个高度具有挑战性的任务上，能够在大幅压缩标记数量的同时还实现提升，说明SaMer确实比其他方法更好地保留了细粒度的局部视觉证据。

DocVQA是文档图像检索场景，与自然图像检索有本质区别——文档中的关键信息往往是稀疏分布的文字和版式结构，而不是对象和场景。研究团队坦诚地指出，SaMer的设计针对的是自然图像中的对象感知压缩，DocVQA实际上是一个"超出SaMer设计范围"的边界案例。在这个任务上，SaMer的表现没有超过未压缩的原始ColPali（ColPali全量标记的R@1是51.0%，SaMer微调后是45.7%），但仍然优于同等压缩比例下的H-Pool、SAP和HPC等对比方法，保持了一定竞争力。

七、不只看检索分数，还要看"检索到的证据是否准确"

研究团队认为，仅凭检索排名指标，不足以全面评估压缩方法是否真正保留了对象级别的局部视觉证据。为此，他们设计了三个专门用于评估"定位质量"的指标。

BoxMass衡量的是：与某个查询短语最相关的视觉激活，是否集中在该短语对应的对象区域框内。计算方式是把激活图在目标框内的总值除以激活图的全局总值，比值越高说明相关证据越集中在正确位置。RegionHit衡量的是弱定位能力——在不同激活阈值下，高激活区域与目标框的交并比（IoU）是否超过0.05这个宽松门槛，只要命中过就算成功，综合多个阈值取平均。CoverageIoU则比RegionHit更严格，它直接测量高激活区域与目标框的平均交并比，衡量覆盖程度而不仅仅是"有没有命中"。

在这三个指标上，SaMer的表现与其他方法的差异十分显著。以ColPali为参照，完整版ColPali（使用全部1030个标记）的BoxMass是51.8，RegionHit是10.5，CoverageIoU是2.1。训练无关的SaMer（无微调）已经把RegionHit大幅提升到62.8，CoverageIoU提升到11.7，这说明纯粹的特征-空间软合并本身就有助于让压缩后的表示在空间上更加集中、更接近正确的对象区域。经过投影层微调的SaMer进一步把BoxMass提升到54.2（超过了完整ColPali的51.8），RegionHit达到68.3，CoverageIoU达到16.4。相比之下，HPC的BoxMass只有30.3，SAP是39.9，H-Pool是41.4——都明显低于SaMer。这意味着SaMer不仅让高激活区域覆盖到了目标对象附近，还把相关证据更紧密地集中在了正确的对象区域内部，而不是散布在周围的背景或相邻对象上。

八、存储空间和计算速度：16倍的差距意味着什么

在效率层面，SaMer带来的改善同样十分具体。ColPali在默认设置下，每张图片存储1030个视觉标记（每个标记是128维的浮点向量，FP16格式）。存储一百万张图片的图像侧索引需要263.7GB的空间。使用SaMer压缩到K=64后，存储需求降至16.4GB，压缩比为16.09倍。MaxSim计算量从36.87万亿次操作降至2.29万亿次，也是约16倍的减少。

在实际检索吞吐量上，以Flickr30K的评测为例，完整ColPali的每秒查询数（QPS）为625.5，SaMer提升到2716.3，大约是4.3倍的加速。在MSCOCO这个图片数量更多的数据集上，完整ColPali的QPS仅为154.2（因为比较的候选图片更多），SaMer提升到1406.7，加速约9.1倍。吞吐量的提升幅度没有与标记数量的压缩比完全同比例，这是因为内存访问、批次处理等工程因素会影响实际速度，但整体改善依然相当显著。

ColQwen2本身标记数量就少于ColPali（Flickr30K下平均约238个，MSCOCO下约127个），所以SaMer带来的相对压缩比较小：Flickr30K上约3.73倍，MSCOCO上约1.99倍，相应的吞吐量提升也在1.9到3.1倍之间。

九、消融实验：每个组件贡献了多少

研究团队通过系统的消融实验，验证了SaMer各个组件的贡献，以避免"整体有效但不知道哪个部分真正有用"的疑问。

只使用特征相似性进行合并（不考虑空间位置，不考虑对象感知先验）的变体，在Flickr30K上R@1为80.7%，MSCOCO上为49.8%。在此基础上加入空间连贯性约束（即完整的特征-空间距离公式），Flickr30K R@1小幅变化到80.4%，MSCOCO维持在49.8%，变化几乎可以忽略不计。这说明空间项本身对检索质量的直接影响有限——它主要负责避免空间上相距很远的区域被过度合并，但这种约束单独并不足以让压缩后的标记更好地保留对象级别的证据。

真正起作用的是对象感知先验：加入之后，Flickr30K R@1跳升到82.4%，MSCOCO R@1跳升到51.6%，BoxMass从47.8提升到54.2，CoverageIoU从13.1提升到16.4。这表明核心增益来自于合并时对对象实例边界的尊重，而不单纯是空间平滑或者投影层微调的效果。

为了进一步确认"微调本身是不是主要原因"，研究团队还设计了一组受控实验：让H-Pool、HPC、SAP这些对比压缩方法也在同样的条件下（相同骨架、相同投影层微调、相同K=64预算）进行训练，然后与SaMer比较。在这个完全同等的适应条件下，SaMer在Flickr30K和MSCOCO上依然取得了最好的R@1和nDCG@10，说明增益不能单纯归因于投影层微调，SaMer的合并规则本身也贡献了独立的、不可替代的性能提升。

此外，研究团队还比较了合并与剪枝的差异：随机剪枝和空间剪枝在无微调情况下Flickr30K R@1分别只有68.6%和68.8%，而SaMer无微调版本已经达到73.6%，差距相当明显。加入微调后，SaMer（82.4%）依然明显优于随机剪枝（79.9%）和空间剪枝（79.5%）。这验证了一个直觉上容易理解的结论：剪枝相当于在不知道用户会问什么问题的情况下，提前扔掉了一部分图像证据；而合并把信息聚合到代表性标记中，信息损失更少，对于未来的查询更加鲁棒。

说到底，这项研究回答了一个很朴素但在工程实践中极为重要的问题：当你需要大幅缩减图像检索系统的存储和计算成本时，你的压缩策略应该遵循什么原则？研究团队的答案是——压缩的目标不仅是减少标记数量，更是保留那些未来查询可能依赖的对象级别视觉证据。一个不懂得尊重对象边界的压缩方法，哪怕在工程上节省了存储空间，也可能在不知不觉中让检索系统丧失了区分细节的能力。

SaMer给出的解法简洁而有效：用特征相似性加空间连贯性来组织合并，用训练时的对象标注来约束跨实例混合，用投影层微调来适配压缩后的工作状态，用软分配来最大程度保留合并过程中的信息。在K=64这个极度压缩的配置下，它不仅没有让检索效果下滑，反而在多个基准上超越了未压缩的原始模型，同时把存储需求压缩了16倍有余。

对于普通用户而言，这项研究的实际意义可能体现在未来的图像搜索应用中：更快速地响应精确的图像查询，在手机或低功耗设备上也能运行高质量的图像检索，大规模商业图像库的运营成本降低。感兴趣的读者可以通过arXiv编号2607.04605查阅完整论文，研究团队也在GitHub（dmis-lab/SaMer）开放了代码。

---

Q&A

Q1：SaMer在压缩图像标记时，为什么还需要用到对象标注框？推理时不也没有标注框吗？

A：SaMer用对象标注框的方式非常巧妙——它只在训练阶段用标注框来告诉模型"不同对象的信息不应该混在一起"，通过调整合并权重来惩罚跨对象的融合操作。这个约束通过梯度更新，慢慢把这种"尊重对象边界"的能力内化到投影层的参数里。到了实际使用时，投影层已经学会了产生更适合对象级分离的特征，不再需要任何标注框，完全自动化运行。

Q2：SaMer把图像标记从一千多个压缩到64个，为什么检索效果反而比未压缩时更好？

A：这看起来违反直觉，但背后有合理原因。原始的ColPali投影层是在"使用全部标记"的假设下训练的，其特征表示并没有专门针对"合并后仍然可区分"这个目标优化。SaMer通过压缩感知的投影层微调，让特征表示更适合在合并状态下支撑MaxSim检索。同时，对象感知合并减少了跨实例的信息混淆，让64个代表性标记能够更清晰地承载各自负责的对象区域证据，从而在某些任务上超过使用全量冗余标记的原始模型。

Q3：SaMer和H-Pool、SAP这些方法的本质区别是什么？

A：H-Pool是基于特征相似性进行固定预算的池化，完全不考虑对象实例的区分；SAP是从结构上修剪锚点区域的标记，属于剪枝而非合并；HPC则结合了量化和注意力引导的剪枝。SaMer的核心区别在于：它在合并时引入了对象感知的约束，主动防止不同对象实例的视觉信息被混合进同一个代表性标记，从而让压缩后的标记集合在面对细粒度的对象、属性、关系查询时，依然能找到对应的局部证据。