YOLO26改进45：全网首发--添加C3k2_SHSA：避免了多头冗余，并通过并行融合全局与局部信息提升准确率
论文介绍
高效视觉Transformer的最新进展
近期，高效的视觉Transformer在资源受限设备上展现出低延迟与卓越性能。传统方法在宏观层面采用4×4的块嵌入和四阶段结构，微观层面则依赖多头配置的复杂注意力机制。本文旨在以内存高效的方式解决各设计层面的计算冗余问题。
研究发现，采用更大步长的块化处理不仅能降低内存访问成本，还能通过减少早期阶段的空域冗余，获得具有竞争力的表征性能。初步分析表明，早期阶段的注意力层可被卷积替代，而后期阶段的部分注意力头存在计算冗余。
为解决这一问题，提出了一种单头注意力模块，其设计天然避免了多头冗余，并通过并行融合全局与局部信息提升准确率。基于上述方案，推出SHViT（单头视觉Transformer），实现了当前最优的速度-准确率权衡。
例如，在ImageNet-1k上，SHViT-S4在GPU、CPU和iPhone12上的推理速度分别达到MobileViTv2×1.0的3.3倍、8.1倍和2.4倍，且准确率提升1.3%。在MS COCO数据集上，结合MaskRCNN框架的目标检测与实例分割任务中，模型性能与FastViT-SA12相当，但骨干网络在GPU和移动端的延迟分别降低3.8倍和2.0倍。