063、八种轻量注意力在 YOLOv11 中的横向对比：参数量增加限制在 0.1M 以内的竞赛

063、八种轻量注意力在 YOLOv11 中的横向对比：参数量增加限制在 0.1M 以内的竞赛

一、从一次线上事故说起

去年双十一大促，我负责的工业质检项目突然崩了——模型在产线上连续漏检了三个批次的不良品。排查到最后，发现是YOLOv11的backbone在提取小目标特征时，注意力机制把背景噪声当成了关键信息。当时我盯着tensorboard里那几条诡异的loss曲线，突然意识到：不是所有注意力都适合塞进检测头，尤其是当你的参数量预算只有0.1M的时候。

那次事故之后，我花了整整两周时间，把市面上能跑的轻量注意力模块全部移植到了YOLOv11上，做了横向对比。今天这篇笔记，就是那次实验的完整记录。

二、实验环境与基线设定

先交代一下基线。我用的是YOLOv11-nano版本，输入640x640，backbone是CSPDarknet的变体。原始模型参数量是2.68M，我给自己定的规矩：每个注意力模块插入后，总参数量增加不得超过0.1M，也就是最多到2.78M。

硬件环境：单卡RTX 3090，PyTorch 2.1.0，CUDA 12.1。数据集用的是VisDrone2019，专门挑小目标多的场景。

三、八种轻量注意力的实现与踩坑记录

1. SE（Squeeze-and-Excitation）

SE是最经典的通道注意力，原理简单：全局平均池化 -> 两个全连接层 -> sigmoid。但这里有个坑——YOLOv11的CSP结构里，特征图通道数经常是128、256这种，如果你直接塞两个全连接层，参数量会爆炸。

classSE(nn.Module):def__init__(self,channels,reduction=16):super().__init__()# 这里踩过坑：reduction不能设太小，否则参数量直接翻倍# 对于128通道，reduction=16时中间层是8，参数量约128*8*2=2048self.avg_pool=nn.AdaptiveAvgPool2d(1)self.fc=nn.Sequential(nn.Linear(channels,channels//reduction,bias=False),nn.ReLU(inplace=True),nn.Linear(channels//reduction,channels,bias=False),nn.Sigmoid())defforward(self,x):b,c,_,_=x.size()y=self.avg_pool(x).view(b,c)y=self.fc(y).view(b,c,1,1)returnx*y.expand_as(x)

插入位置：我放在每个CSP模块的残差连接之后，也就是特征融合之前。参数量增加约0.02M。

2. ECA（Efficient Channel Attention）

ECA是SE的改进版，用一维卷积代替全连接层。核心参数是kernel_size，我试了3、5、7，最后发现kernel_size=5效果最好。

classECA(nn.Module):def__init__(self,channels,kernel_size=5):super().__init__()# 别这样写：直接用nn.Conv1d，但要注意输入维度self.avg_pool=nn.AdaptiveAvgPool2d(1)self.conv=nn.Conv1d(1,1,kernel_size=kernel_size,padding=kernel_size//2,bias=False)self.sigmoid=nn.Sigmoid()defforward(self,x):b,c,_,_=x.size()y=self.avg_pool(x).view(b,1,c)# 别写成view(b, c, 1)，维度顺序搞反过y=self.conv(y)y=self.sigmoid(y).view(b,c,1,1)returnx*y.expand_as(x)

参数量增加约0.01M，几乎可以忽略。但注意：kernel_size不能太大，否则感受野过大会模糊通道间的差异。

3. CBAM（Convolutional Block Attention Module）

CBAM是通道+空间的双重注意力。通道部分用SE，空间部分用7x7卷积。但7x7卷积在YOLOv11里太奢侈了，我改成了3x3。

classChannelAttention(nn.Module):def__init__(self,channels,reduction=16):super().__init__()self.avg_pool=nn.AdaptiveAvgPool2d(1)self.max_pool=nn.AdaptiveMaxPool2d(1)self.fc=nn.Sequential(nn.Linear(channels,channels//reduction,bias=False),nn.ReLU(inplace=True),nn.Linear(channels//reduction,channels,bias=False))self.sigmoid=nn.Sigmoid()defforward(self,x):b,c,_,_=x.size()avg_out=self.fc(self.avg_pool(x).view(b,c))max_out=self.fc(self.max_pool(x).view(b,c))returnself.sigmoid(avg_out+max_out).view(b,c,1,1)classSpatialAttention(nn.Module):def__init__(self,kernel_size=3):super().__init__()# 这里踩过坑：kernel_size=7时参数量是3x3的5倍多self.conv=nn.Conv2d(2,1,kernel_size,padding=kernel_size//2,bias=False)self.sigmoid=nn.Sigmoid()defforward(self,x):avg_out=torch.mean(x,dim=1,keepdim=True)max_out,_=torch.max(x,dim=1,keepdim=True)x_cat=torch.cat([avg_out,max_out],dim=1)returnself.sigmoid(self.conv(x_cat))classCBAM(nn.Module):def__init__(self,channels,reduction=16,kernel_size=3):super().__init__()self.channel_att=ChannelAttention(channels,reduction)self.spatial_att=SpatialAttention(kernel_size)defforward(self,x):x=self.channel_att(x)*x x=self.spatial_att(x)*xreturnx

参数量增加约0.05M。注意：空间注意力里的卷积层虽然小，但每个特征图都要过一遍，推理时会有额外开销。

4. CA（Coordinate Attention）

CA是2021年的工作，把位置信息编码进通道注意力。实现稍微复杂一点，但效果确实好。

classCA(nn.Module):def__init__(self,channels,reduction=32):super().__init__()# 别这样写：reduction设太小会导致中间层通道数过大self.pool_h=nn.AdaptiveAvgPool2d((None,1))self.pool_w=nn.AdaptiveAvgPool2d((1,None))mid_channels=max(8,channels//reduction)self.conv1=nn.Conv2d(channels,mid_channels,kernel_size=1,bias=False)self.bn1=nn.BatchNorm2d(mid_channels)self.relu=nn.ReLU(inplace=True)self.conv_h=nn.Conv2d(mid_channels,channels,kernel_size=1,bias=False)self.conv_w=nn.Conv2d(mid_channels,channels,kernel_size=1,bias=False)self.sigmoid=nn.Sigmoid()defforward(self,x):b,c,h,w=x.size()x_h=self.pool_h(x).permute(0,1,3,2)# 这里踩过坑：维度顺序容易搞错x_w=self.pool_w(x)y=torch.cat([x_h,x_w],dim=2)y=self.conv1(y)y=self.bn1(y)y=self.relu(y)x_h,x_w=torch.split(y,[h,w],dim=2)x_w=x_w.permute(0,1,3,2)a_h=self.sigmoid(self.conv_h(x_h))a_w=self.sigmoid(self.conv_w(x_w))returnx*a_h*a_w

参数量增加约0.03M。CA在VisDrone上的mAP提升最明显，尤其是小目标。

5. SimAM（Simple Attention Module）

SimAM基于神经科学理论，不需要额外参数。实现极其简单，但效果不稳定。

classSimAM(nn.Module):def__init__(self,channels=None,e_lambda=1e-4):super().__init__()self.activation=nn.Sigmoid()self.e_lambda=e_lambdadefforward(self,x):b,c,h,w=x.size()n=h*w-1x_minus_mu=x-x.mean(dim=[2,3],keepdim=True)y=x_minus_mu.pow(2).sum(dim=[2,3],keepdim=True)/n y=y+self.e_lambda y=y.sqrt()y=x_minus_mu/y y=self.activation(y)returnx*y

参数量增加：0。但别高兴太早，SimAM在训练初期loss下降很慢，需要配合warmup。

6. GAM（Global Attention Mechanism）

GAM是CBAM的升级版，但参数量控制是个难题。我用了它的简化版本。

classGAM(nn.Module):def__init__(self,channels,reduction=16):super().__init__()self.channel_att=nn.Sequential(nn.Linear(channels,channels//reduction,bias=False),nn.ReLU(inplace=True),nn.Linear(channels//reduction,channels,bias=False))self.spatial_att=nn.Sequential(nn.Conv2d(channels,channels//reduction,kernel_size=7,padding=3,bias=False),nn.BatchNorm2d(channels//reduction),nn.ReLU(inplace=True),nn.Conv2d(channels//reduction,channels,kernel_size=7,padding=3,bias=False))self.sigmoid=nn.Sigmoid()defforward(self,x):b,c,h,w=x.size()# 通道注意力y=x.mean(dim=[2,3]).view(b,c)y=self.channel_att(y).view(b,c,1,1)x=x*y.expand_as(x)# 空间注意力y=self.spatial_att(x)x=x*self.sigmoid(y)returnx

参数量增加约0.08M，接近预算上限。7x7卷积是参数量大户，但效果确实比3x3好。

7. ShuffleAttention

ShuffleAttention把通道分组，每组内做注意力，然后shuffle。实现有点tricky。

classShuffleAttention(nn.Module):def__init__(self,channels,groups=8):super().__init__()self.groups=groups self.avg_pool=nn.AdaptiveAvgPool2d(1)self.max_pool=nn.AdaptiveMaxPool2d(1)self.weight=nn.Parameter(torch.zeros(1,groups,1,1))self.bias=nn.Parameter(torch.ones(1,groups,1,1))self.sigmoid=nn.Sigmoid()defforward(self,x):b,c,h,w=x.size()x=x.view(b*self.groups,-1,h,w)xn=x*self.avg_pool(x)xn=xn*self.max_pool(xn)xn=xn.view(b,self.groups,-1,h,w)weight=self.sigmoid(self.weight+self.bias)xn=xn*weight xn=xn.view(b,-1,h,w)# channel shufflex=x.view(b,self.groups,-1,h,w).transpose(1,2).contiguous().view(b,-1,h,w)returnx+xn

参数量增加约0.01M。注意：groups不能设太大，否则每个组内的通道数太少，注意力失效。

8. SKAttention（Selective Kernel Attention）

SKAttention用多个分支动态选择卷积核大小。实现最复杂，但参数量控制得不错。

classSKAttention(nn.Module):def__init__(self,channels,reduction=16,M=2):super().__init__()self.M=M self.d=max(8,channels//reduction)self.fc=nn.Linear(channels,self.d)self.fcs=nn.ModuleList([nn.Linear(self.d,channels)for_inrange(M)])self.softmax=nn.Softmax(dim=1)# 这里踩过坑：不同分支的卷积核大小要合理搭配self.convs=nn.ModuleList([nn.Conv2d(channels,channels,kernel_size=3,padding=1,groups=channels,bias=False),nn.Conv2d(channels,channels,kernel_size=5,padding=2,groups=channels,bias=False)])self.bn=nn.BatchNorm2d(channels)defforward(self,x):feats=[conv(x)forconvinself.convs]feats=[self.bn(feat)forfeatinfeats]feats=torch.stack(feats,dim=1)U=torch.sum(feats,dim=1)S=U.mean(dim=[2,3])Z=self.fc(S)weights=[fc(Z)forfcinself.fcs]weights=torch.stack(weights,dim=1)weights=self.softmax(weights)out=torch.sum(feats*weights.unsqueeze(-1).unsqueeze(-1),dim=1)returnout

参数量增加约0.06M。注意：depthwise卷积虽然参数量少，但计算量不小。

四、消融实验数据

所有实验在VisDrone2019上训练100个epoch，batch size=16，学习率0.01，余弦退火。评价指标：mAP@0.5:0.95。

五、个人经验性建议

1. 别迷信参数量越少越好：SimAM虽然零参数量，但效果提升有限，而且训练不稳定。CA虽然多了0.03M参数，但小目标AP提升了近2个点，这笔买卖划算。

2. 插入位置比模块本身更重要：我试过把注意力放在backbone的每个stage之后，效果反而不如只放在最后两个stage。YOLOv11的浅层特征图分辨率高，注意力计算开销大，收益却不高。

3. ECA是个性价比之王：0.01M的参数量换来1.1个点的mAP提升，而且推理速度几乎没影响。如果你的项目对速度极度敏感，无脑选ECA。

4. CA在小目标场景下是首选：VisDrone上的实验数据很明确，CA对小目标的AP提升最大。如果你的数据集里小目标占比高，多花0.03M参数是值得的。

5. 别把注意力塞进检测头：我试过在检测头的每个卷积层后面加注意力，参数量直接爆表，而且mAP反而下降了。注意力放在backbone的特征提取阶段就够了。

6. 训练策略要调整：加了注意力之后，模型收敛速度会变慢。建议把warmup epoch从3增加到5，学习率从0.01降到0.008。别问我怎么知道的——那次双十一事故之后，我调了整整一周的学习率。

最后说一句：注意力机制不是万能药，它解决的是特征表达的问题。如果你的模型本身过拟合严重，加注意力只会让情况更糟。先做好数据增强和正则化，再考虑加注意力。