ResNet-50 残差块源码解析：BasicBlock 与 Bottleneck 的 3 处关键差异

ResNet-50 残差块源码解析：BasicBlock 与 Bottleneck 的 3 处关键差异

深度残差网络（ResNet）作为计算机视觉领域的里程碑式架构，其核心创新在于残差块的设计。本文将深入解析 PyTorch 官方实现中两种基础残差单元——BasicBlock 与 Bottleneck 的结构差异，通过逐行代码分析揭示其设计哲学与工程实现细节。

1. 残差块的设计演进与核心逻辑

残差学习的基本思想是通过跨层连接（shortcut connection）实现恒等映射，解决深层网络训练中的梯度消失问题。在 torchvision.models.resnet 模块中，这两种残差块分别服务于不同深度的网络架构：

• BasicBlock：用于 ResNet-18/34 等较浅层网络
• Bottleneck：用于 ResNet-50/101/152 等深层网络

二者的核心差异可通过以下对比表快速把握：

# 典型调用方式对比 BasicBlock(inplanes=64, planes=64) # ResNet-18 Bottleneck(inplanes=256, planes=64) # ResNet-50

提示：expansion 参数是理解两种结构差异的关键，它决定了输出通道与中间层通道的倍数关系

2. 结构差异一：通道处理机制

2.1 BasicBlock 的直通式设计

BasicBlock 采用简单的双 3×3 卷积堆叠，其通道处理遵循"输入=中间=输出"的原则：

class BasicBlock(nn.Module): expansion = 1 # 输出通道不扩展 def __init__(self, inplanes, planes, stride=1): self.conv1 = conv3x3(inplanes, planes, stride) # 保持空间维度 self.conv2 = conv3x3(planes, planes) # 通道数不变 # ... 其他初始化代码

这种设计在浅层网络中表现良好，但当网络深度增加时会出现两个问题：

1. 计算量随通道数平方增长
2. 特征复用效率较低

2.2 Bottleneck 的瓶颈结构

Bottleneck 通过 1×1 卷积先压缩再扩展通道，形成"窄-宽-窄"的特征处理流程：

class Bottleneck(nn.Module): expansion = 4 # 输出通道扩展4倍 def __init__(self, inplanes, planes, stride=1): self.conv1 = nn.Conv2d(inplanes, planes, kernel_size=1) # 通道压缩 self.conv2 = conv3x3(planes, planes, stride) # 空间特征提取 self.conv3 = nn.Conv2d(planes, planes * self.expansion, kernel_size=1) # 通道扩展

该结构的计算优势可通过以下公式量化：

$$ \text{计算量比} = \frac{1\times1\times C\times \frac{C}{4} + 3\times3\times \frac{C}{4}\times \frac{C}{4} + 1\times1\times \frac{C}{4}\times C}{2\times (3\times3\times C\times C)} \approx 0.36 $$

即 Bottleneck 的计算量仅为 BasicBlock 的 36% 左右，这在深层网络中带来显著的效率提升。

3. 结构差异二：降采样处理策略

3.1 BasicBlock 的降采样实现

当需要进行空间下采样（stride>1）时，BasicBlock 通过两种方式保持维度匹配：

1. 主路径：第一个 3×3 卷积设置 stride=2
2. 捷径路径：通过 1×1 卷积同步降采样

# 降采样示例 BasicBlock(inplanes=64, planes=128, stride=2) # 对应的 downsample 层 nn.Sequential( conv1x1(64, 128, stride=2), nn.BatchNorm2d(128) )

3.2 Bottleneck 的降采样优化

Bottleneck 将降采样操作分散到不同卷积层，减少信息损失：

1. 空间降采样：通常在第二个 1×1 卷积进行（PyTorch 实现与原始论文不同）
2. 通道调整：通过第三个卷积的 expansion 机制自动处理

# Torchvision 的特殊实现 Bottleneck(inplanes=256, planes=128, stride=2) # 实际降采样发生在 conv2（3×3卷积）

注意：这是 PyTorch 的工程优化（称为 ResNet V1.5），将 stride=2 移至 3×3 卷积而非第一个 1×1 卷积，在实践中表现更好

4. 结构差异三：身份映射的工程实现

4.1 BasicBlock 的直连机制

BasicBlock 的 forward 流程直观体现了残差思想：

def forward(self, x): identity = x # 保留原始输入 out = self.conv1(x) out = self.bn1(out) out = self.relu(out) out = self.conv2(out) out = self.bn2(out) if self.downsample is not None: identity = self.downsample(x) # 维度匹配 out += identity # 核心残差连接 return self.relu(out)

4.2 Bottleneck 的复合处理

Bottleneck 需要处理更复杂的通道变化：

def forward(self, x): identity = x out = self.conv1(x) # 降维 out = self.bn1(out) out = self.relu(out) out = self.conv2(out) # 空间特征提取 out = self.bn2(out) out = self.relu(out) out = self.conv3(out) # 升维 out = self.bn3(out) if self.downsample is not None: identity = self.downsample(x) # 同时处理空间和通道维度 out += identity return self.relu(out)

二者的维度处理差异可通过以下实例说明：

# BasicBlock 示例 输入: (batch, 64, 56, 56) 输出: (batch, 64, 56, 56) # stride=1 或 (batch, 128, 28, 28) # stride=2 # Bottleneck 示例 输入: (batch, 256, 56, 56) 中间: (batch, 64, 56, 56) # conv1 输出 输出: (batch, 256, 56, 56) # stride=1 或 (batch, 512, 28, 28) # stride=2

5. 工程实践中的选择建议

根据实际项目需求选择适合的残差块：

1. 计算资源有限时：

   • 优先考虑 Bottleneck 结构
   • 示例配置：

     model = ResNet(Bottleneck, [3, 4, 6, 3]) # ResNet-50

2. 低延迟场景：

   • 使用 BasicBlock 减少分支判断
   • 示例配置：

     model = ResNet(BasicBlock, [2, 2, 2, 2]) # ResNet-18

3. 自定义设计时：

   • 可混合使用两种结构
   • 示例混合架构：

     class CustomBlock(nn.Module): def __init__(self, inplanes, planes): self.basic = BasicBlock(inplanes, planes) self.bottleneck = Bottleneck(planes*4, planes//4) def forward(self, x): x = self.basic(x) return self.bottleneck(x)

在实际图像分类任务中，ResNet-50 的典型前向传播耗时对比显示，Bottleneck 结构虽然层数更多，但得益于通道压缩，整体速度反而优于 BasicBlock 的深层版本：