别再只调参了！给ResNet50加上SENet/CBAM/ECA注意力，猫狗分类实战对比（附完整PyTorch代码）

ResNet50注意力模块实战：SENet/CBAM/ECA在猫狗分类中的性能对比与代码实现

当你已经能够熟练使用ResNet50完成猫狗分类任务时，是否遇到过这样的困惑：为什么同样的超参数设置，别人的模型总能取得更好的效果？答案可能藏在注意力机制这个神奇的概念里。今天我们不谈空洞的理论，而是用完整的PyTorch代码和对比实验，带你亲手为ResNet50装上SENet、CBAM、ECA三种不同的"注意力增强模块"，看看它们在实际任务中到底能带来多大提升。

1. 为什么需要注意力机制？

想象一下你在观察一张猫狗混战的照片时，眼睛会本能地聚焦在关键特征上——猫的尖耳朵、狗的湿鼻子，而不是背景中的沙发或地毯。这种选择性关注的能力，正是注意力机制想要赋予神经网络的核心思想。

在传统的卷积神经网络中，所有空间位置和通道都被平等对待，这显然不符合生物视觉系统的处理方式。2017年提出的SENet首次将通道注意力引入视觉任务，随后CBAM加入了空间维度，而ECA则优化了计算效率。这三种模块各有什么特点？让我们先看一个直观对比：

提示：选择注意力模块时，需要在精度提升与计算成本之间权衡。对于猫狗分类这类相对简单的任务，ECA可能是性价比最高的选择。

2. 改造ResNet50：三种模块的集成方案

2.1 基础ResNet50模型准备

首先我们需要一个干净的ResNet50基准模型。这里使用PyTorch官方预训练权重，并替换最后的全连接层：

import torch import torch.nn as nn from torchvision.models import resnet50 class BaseResNet(nn.Module): def __init__(self, num_classes=2): super().__init__() self.model = resnet50(pretrained=True) in_features = self.model.fc.in_features self.model.fc = nn.Linear(in_features, num_classes) def forward(self, x): return self.model(x)

2.2 集成SENet模块

SENet的核心是SEBlock，它通过全局平均池化和两个全连接层学习通道权重：

class SEBlock(nn.Module): def __init__(self, in_channels, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(in_channels, in_channels // reduction), nn.ReLU(), nn.Linear(in_channels // reduction, in_channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y

将SEBlock插入ResNet50的每个残差块后：

def add_se_block(module): for name, child in module.named_children(): if isinstance(child, nn.Sequential): # 在Bottleneck的conv3后添加SEBlock if 'conv3' in dict(child.named_modules()): child.add_module('se', SEBlock(child.conv3.out_channels)) else: add_se_block(child)

2.3 集成CBAM模块

CBAM包含通道和空间两个注意力子模块：

class CBAM(nn.Module): def __init__(self, in_channels, reduction=16, kernel_size=7): super().__init__() # 通道注意力 self.channel_att = nn.Sequential( nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels, in_channels//reduction, 1), nn.ReLU(), nn.Conv2d(in_channels//reduction, in_channels, 1), nn.Sigmoid() ) # 空间注意力 self.spatial_att = nn.Sequential( nn.Conv2d(2, 1, kernel_size, padding=kernel_size//2), nn.Sigmoid() ) def forward(self, x): # 通道注意力 channel = self.channel_att(x) x = x * channel # 空间注意力 avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) spatial = self.spatial_att(torch.cat([avg_out, max_out], dim=1)) return x * spatial

2.4 集成ECA模块

ECA采用更高效的1D卷积实现通道注意力：

class ECABlock(nn.Module): def __init__(self, channels, gamma=2, b=1): super().__init__() kernel_size = int(abs((math.log(channels, 2) + b) / gamma)) kernel_size = kernel_size if kernel_size % 2 else kernel_size + 1 self.avg_pool = nn.AdaptiveAvgPool2d(1) self.conv = nn.Conv1d(1, 1, kernel_size=kernel_size, padding=(kernel_size-1)//2, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): y = self.avg_pool(x) y = self.conv(y.squeeze(-1).transpose(-1, -2)) y = y.transpose(-1, -2).unsqueeze(-1) y = self.sigmoid(y) return x * y.expand_as(x)

3. 实验设置与训练技巧

3.1 数据集准备

使用Kaggle Dogs vs Cats数据集，按以下方式预处理：

from torchvision import transforms train_transform = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) val_transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])

3.2 训练参数配置

所有模型使用相同的超参数保证公平对比：

config = { 'batch_size': 32, 'lr': 1e-4, 'epochs': 30, 'optimizer': 'AdamW', 'scheduler': 'CosineAnnealingLR', 'criterion': 'CrossEntropyLoss', 'weight_decay': 1e-4 }

注意：学习率需要根据batch size调整。当使用更大的batch size时，可以适当提高学习率。

3.3 训练过程监控

使用PyTorch Lightning简化训练循环，并记录关键指标：

import pytorch_lightning as pl class Classifier(pl.LightningModule): def __init__(self, model): super().__init__() self.model = model self.criterion = nn.CrossEntropyLoss() def training_step(self, batch, batch_idx): x, y = batch logits = self.model(x) loss = self.criterion(logits, y) self.log('train_loss', loss) return loss def configure_optimizers(self): optimizer = torch.optim.AdamW( self.parameters(), lr=1e-4, weight_decay=1e-4 ) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max=30 ) return [optimizer], [scheduler]

4. 实验结果分析与决策建议

经过30个epoch的训练，我们得到以下对比数据：

从实验结果可以看出：

• CBAM表现最好，但计算成本最高，适合对精度要求严格的场景
• ECA性价比最高，几乎不增加计算负担，适合资源受限的环境
• SENet平衡性较好，在精度和效率之间取得不错的折中

实际部署时，还需要考虑以下因素：

1. 如果使用TensorRT等推理框架，需要确认对自定义注意力层的支持情况
2. 在边缘设备上，ECA可能是更实用的选择
3. 对于更复杂的数据集(如包含多个犬种/猫种)，CBAM的优势可能更明显

# 最终模型推理示例 model = ResNet50WithCBAM(num_classes=2) checkpoint = torch.load('best_model.pth') model.load_state_dict(checkpoint) def predict(image): model.eval() with torch.no_grad(): logits = model(image) return torch.softmax(logits, dim=1)

在完成这些实验后，我发现一个有趣的现象：注意力模块带来的提升在训练早期(前5个epoch)尤为明显，这说明它们确实帮助模型更快地聚焦于关键特征。不过要注意，如果数据集非常小，过度使用注意力机制反而可能导致过拟合。