YOLO系列算法改进 | 主干改进篇 | 替换SHViT高效视觉变换器 | 助力模型极致轻量化，同时保持高精度性能！ | CVPR 2024

0. 前言

本文介绍了SHViT高效视觉变换器，并将其集成到ultralytics最新发布的YOLO26目标检测算法中，替换原有Backbone网络。SHViT的创新在于从宏观和微观两个层面系统性消除计算冗余，通过大步长块化主干和单头部分通道注意力，以最少的内存访问成本实现超快视觉推理。将其作为YOLO的backbone，将使目标检测在边缘设备上以突破性的速度运行，同时保持高精度，特别适合需要极致实时性、高分辨率输入和多平台统一部署的应用场景。

专栏链接：YOLO系列算法改进专栏链接

专栏文章：YOLO26改进系列 | 卷积篇、轻量化、注意力、损失函数、Backbone、SPPF、C2PSA、Neck、检测头全方面保姆级优化合集 | 同样适配YOLOv11改进！！！

目录

0. 前言

1. SHViT网络简介

2. SHViT网络原理与创新点

🧠 SHViT网络基本原理

🎯 SHViT网络创新点

3. 具体改进步骤

🍀🍀步骤1：创建SHViT.py文件

🍀🍀步骤2：tasks.py文件修改

⚡1. SHViT网络导入

⚡2. SHViT网络注册

⚡3. 其他修改1（Ctrl+F搜索定位一下）

⚡4. 其他修改2（Ctrl+F搜索定位一下）

⚡5. 其他修改3（_predict_once函数修改）

🍀🍀步骤3：创建YAML配置文件

🍀🍀步骤4：新建train.py文件训练模型

🍀🍀步骤5：模型结构打印结果

1. SHViT网络简介

近年来，高效的视觉Transformer在资源受限设备上以低延迟表现出卓越的性能。传统上，它们在宏观层面采用4×4块嵌入和4阶段结构，同时在微观层面利用多头配置的复杂注意力。本文旨在以内存高效的方式解决所有设计层面的计算冗余。我们发现，使用更大步长的块化主干不仅可以减少内存访问成本，而且通过从早期阶段就开始利用具有降低空间冗余的令牌表示，还能实现有竞争力的性能。此外，我们的初步分析表明，早期阶段的注意力层可以用卷积替代，而后期阶段的多个注意力头在计算上是冗余的。为解决这一问题，我们引入了一种单头注意力模块，它从本质上防止了头冗余，并通过并行结合全局和局部信息同时提高精度。基于我们的解决方案，我们提出了SHViT，一种单头视觉Transformer，它在速度-精度权衡上达到了最先进的水平。例如，在ImageNet-1k上，我们的SHViT-S4在GPU、CPU和iPhone12移动设备上分别比MobileViTv2×1.0快3.3倍、8.1倍和2.4倍，同时精度高出1.3%。在MS COCO上使用Mask-RCNN头进行的目标检测和实例分割任务中，我们的模型在GPU和移动设备上的骨干延迟分别比FastViT-SA12低3.8倍和2.0倍，同时性能相当。