【YOLOv11】033、YOLOv11与Transformer结合：ViT、Swin Transformer在检测中的应用

上周调一个工业缺陷检测项目，在暗光下的细小划痕漏检率突然飙升到15%。把YOLOv11的卷积层加深、通道数加满，指标死活上不去。盯着热力图看了半天，感受野还是不够大——长距离依赖关系抓不住，局部卷积再深也白搭。这时候想起Transformer那套全局注意力机制，连夜把ViT模块嵌进Backbone里试了试，三天后mAP涨了7.2%。今天就来聊聊Transformer怎么在YOLOv11里玩出花。

为什么卷积神经网络需要Transformer？

传统YOLO系列靠卷积堆叠，局部归纳偏置强，但特征交互始终受限于卷积核尺寸。小目标检测、遮挡物体、不规则纹理这些场景，往往需要模型理解全局上下文关系。Transformer的自注意力机制正好补上这块短板：它能计算图像所有patch之间的关联权重，让远处特征也能直接对话。

不过直接照搬NLP那套Transformer会出问题。ViT把图像切成16x16的patch，序列长度直接爆炸，计算量平方级增长。在嵌入式设备上跑？别想了，显存先崩给你看。

ViT在YOLOv11中的嫁接姿势

ViT当Backbone用有点奢侈，但做Neck或者增强模块很香。我们在C3模块后面插了个简化版ViT Block，代码这么写的：

classViT_Attention