当前位置：首页 > news >正文

从SENet到GCNet：一文读懂注意力机制的‘分久必合’，附PyTorch核心代码逐行解析

news 2026/5/30 22:38:51

从SENet到GCNet：注意力机制的演进与PyTorch实战解析

计算机视觉领域近年来最引人注目的突破之一，就是注意力机制在各种任务中的广泛应用。作为一名长期跟踪该领域发展的算法工程师，我见证了从SENet到GCNet这一技术演进过程中，研究者们如何不断优化注意力模块的设计。本文将带您深入理解这一技术脉络，并通过逐行解析PyTorch实现代码，揭示其中的设计智慧。

1. 注意力机制的演进之路

1.1 SENet：通道注意力的开创者

SENet(Squeeze-and-Excitation Network)在2017年提出时，其核心思想令人耳目一新：

通道注意力：通过学习自动获取每个特征通道的重要程度
两步操作：
- Squeeze：全局平均池化获取通道级统计信息
- Excitation：全连接层学习通道间依赖关系

# SENet核心结构示例 class SEBlock(nn.Module): def __init__(self, channels, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y

提示：SENet的局限在于仅考虑通道维度而忽略了空间位置间的相关性

1.2 Non-local Networks：捕捉长程依赖

2018年提出的Non-local Networks引入了空间注意力机制：

全局关联建模：每个位置与所有位置建立联系
四种相似度计算：
- 高斯函数
- 嵌入式高斯
- 点积
- 拼接

# Non-local模块简化实现 class NonLocalBlock(nn.Module): def __init__(self, in_channels): super().__init__() self.theta = nn.Conv2d(in_channels, in_channels//2, 1) self.phi = nn.Conv2d(in_channels, in_channels//2, 1) self.g = nn.Conv2d(in_channels, in_channels//2, 1) self.out_conv = nn.Conv2d(in_channels//2, in_channels, 1) def forward(self, x): theta = self.theta(x) phi = self.phi(x) g = self.g(x) attn = torch.matmul(theta, phi.transpose(2,3)) attn = F.softmax(attn, dim=-1) out = torch.matmul(attn, g) out = self.out_conv(out) return out + x

1.3 GCNet：两全其美的融合方案

GCNet的核心洞察来自一个有趣的发现：Non-local网络生成的注意力图对不同查询位置几乎相同。这促使作者思考：

计算冗余：为每个位置单独计算注意力是否必要？
结构相似性：简化后的Non-local模块与SENet存在共性
统一框架：能否设计一个兼顾通道和空间注意力的轻量模块？

2. GCNet的三大技术突破

2.1 简化Non-local模块(SNL)

GCNet首先对原始Non-local模块进行了两阶段简化：

去除查询相关计算：基于注意力图与查询位置无关的观察
重排计算顺序：应用分配律降低计算复杂度

# SNL模块关键代码段 def simplified_non_local(x): # 全局注意力池化 mask = conv_mask(x) # [N,1,H,W] mask = mask.view(N,1,H*W) mask = softmax(mask) # 空间注意力 # 特征变换 context = torch.matmul(x.view(N,C,H*W), mask.transpose(1,2)) return context.view(N,C,1,1)

注意：简化后计算量从O(N²C)降至O(NC²)，其中N=H×W

2.2 全局上下文建模框架

GCNet将注意力机制抽象为通用三步框架：

步骤	操作	目的
(a) 全局注意力池化	1x1卷积+Softmax	捕获空间上下文
(b) 特征变换	Bottleneck结构	建模通道依赖
(c) 特征聚合	加法/乘法融合	整合全局信息

2.3 轻量级GC模块设计

GC模块的创新点在于：

双路注意力融合：同时考虑空间和通道维度
Bottleneck设计：减少参数量的同时保持表达能力
即插即用：可嵌入任何网络层

class GCBlock(nn.Module): def __init__(self, in_channels, ratio=0.25): super().__init__() self.channel_add_conv = nn.Sequential( nn.Conv2d(in_channels, int(in_channels*ratio), 1), nn.LayerNorm([int(in_channels*ratio), 1, 1]), nn.ReLU(), nn.Conv2d(int(in_channels*ratio), in_channels, 1) ) def forward(self, x): context = spatial_pool(x) # 空间注意力 channel_add_term = self.channel_add_conv(context) return x + channel_add_term # 特征聚合

3. PyTorch实现逐行解析

让我们深入GCNet官方实现的关键部分：

3.1 空间池化实现

def spatial_pool(self, x): batch, channel, height, width = x.size() if self.pooling_type == 'att': # 转换为[N,C,H*W]格式 input_x = x.view(batch, channel, height * width) # 生成空间注意力权重 context_mask = self.conv_mask(x) # [N,1,H,W] context_mask = context_mask.view(batch, 1, height * width) context_mask = self.softmax(context_mask) # 空间softmax # 加权平均获取全局上下文 context = torch.matmul( input_x, # [N,C,HW] context_mask.transpose(1,2) # [N,HW,1] ) context = context.view(batch, channel, 1, 1) else: # 备用平均池化方案 context = self.avg_pool(x) return context

3.2 Bottleneck变换结构

self.channel_add_conv = nn.Sequential( nn.Conv2d(in_channels, planes, 1), # 降维 nn.LayerNorm([planes, 1, 1]), # 归一化 nn.ReLU(inplace=True), # 非线性激活 nn.Conv2d(planes, in_channels, 1) # 升维 )

提示：使用LayerNorm而非BatchNorm，更适合小batch场景

3.3 前向传播逻辑

def forward(self, x): context = self.spatial_pool(x) # 获取全局上下文 out = x if self.channel_mul_conv is not None: # 通道乘法分支 channel_mul_term = torch.sigmoid(self.channel_mul_conv(context)) out = out * channel_mul_term if self.channel_add_conv is not None: # 通道加法分支 channel_add_term = self.channel_add_conv(context) out = out + channel_add_term return out