盘点｜CVPR 2026中常用的注意力机制模块

在AI研究中，模型创新与性能突破是持续的挑战。「注意力机制」为此提供了一个强大的破局点。

它不仅是能够捕捉长距离依赖、即插即用的性能增强器，更已成为论文创新的重要源泉。其天然的可视化能力，能将“黑箱”模型变得透明可信，为实验分析提供坚实的论据。

无论是作为核心贡献还是辅助模块，对注意力的巧妙运用，都能显著提升论文的说服力与深度。

为了帮助大家更好的应用，本文盘点了CVPR中适用面较广的注意力机制模块，因篇幅有限文中只展现了部分。

➔➔➔➔点击查看原文，获取全部合集

When Token Pruning is Worse than Random: Understanding Visual Token Information in VLLMs

内容：

• 由本文提出了一个视觉Token信息量化框架与“信息视界”（Information Horizon）概念，用于揭示VLLM中视觉信息随网络深度的衰减规律。其核心贡献在于量化证明了在特定层（信息视界）后，视觉token信息会均匀消失，导致现有剪枝方法失效并趋同于随机剪枝。这一发现为设计更高效、更具适应性的剪枝策略，如在深层采用随机剪枝，提供了关键理论依据。

Pluggable Pruning with Contiguous Layer Distillation for Diffusion Transformers

内容：

• 由本文提出了一个即插即用的结构化剪枝框架PPCL，专为文生图领域的扩散Transformer（DiT）设计。其核心创新在于，首先通过线性探针和CKA相似度分析自动识别出可以被整体移除的“连续冗余层”区间，然后采用一种非序列化的层间知识蒸馏方案进行恢复。这使得剪枝后的模型能够像搭积木一样，在推理时根据需求动态调整模型深度（即压缩率），从而在不同效率和性能之间灵活切换，无需重新训练。

Prune2Drive: A Plug-and-Play Framework for Accelerating Vision-Language Models in Autonomous Driving

内容：

• 由本文提出了一个专为自动驾驶领域多视角VLM设计的即插即用剪枝框架Prune2Drive，旨在解决处理高分辨率、多摄像头输入的巨大计算开销。其核心创新包含两大模块：一是基于最远点采样（T-FPS）的token选择机制，确保剪枝后仍能最大化保留语义和空间多样性；二是一个视角自适应剪枝控制器，能根据各摄像头对下游任务的重要性，自动学习并分配不同的最佳剪枝率，实现了资源的智能调配。

为了帮助大家更好的应用，本文盘点了CVPR中适用面较广的注意力机制模块，因篇幅有限文中只展现了部分。

➔➔➔➔点击查看原文，获取全部合集