什么是ResNet
什么是ResNet
ResNet（Residual Network，残差网络）是2015年由何凯明等人提出的深层卷积神经网络（CNN）架构，因解决了“深层网络训练难题”而成为计算机视觉领域的里程碑模型。它在ImageNet图像分类竞赛中以显著优势夺冠，并深刻影响了后续几乎所有深度学习视觉任务的模型设计。
核心问题：深层网络的“退化现象”
在ResNet提出前，研究者发现一个矛盾：当网络深度增加到一定程度后，模型性能会先提升、后下降（即使没有过拟合）。这种“深度增加但精度下降”的现象被称为“退化（Degradation）”，其本质是深层网络在反向传播时，梯度经过多层传递后会逐渐消失或爆炸，导致底层参数难以更新，模型无法有效学习。(但深度增加后，梯度∂Loss∂x\frac{∂Loss}{∂x}∂x∂Loss经多层传递后趋近于 0。)
ResNet的核心创新：残差块与跳跃连接
为解决退化问题，ResNet引入了残差块（Residual Block）结构，其核心是“跳跃连接（Skip Connection）”——让输入直接跳过部分网络层，与该部分的输出相加，形成“残差学习”机制。
1. 残差块的结构
一个基础残差块包含：
- 若干卷积层（通常是2-3层），负责学习“残差函数”F(x)F(x)F(x)；
- 一条跳跃连接（通常是直接映射，即恒等映射），将输入xxx直接传递到块的输出端；
- 输出为“残差函数 + 输入”：H(x)=F(x)+xH(x) = F(x) + xH(x)=F(x)+x。
简单来说，传统网络要求卷积层直接学习目标映射H(x)H(x)H(x)，而ResNet让卷积层学习“目标映射与输入的差值”（即残差F(x)=H(x)−xF(x) = H(x) - xF(x)=H(x)−x），再通过跳跃连接将输入“加回来”。
2. 跳跃连接的作用
- 缓解梯度消失：反向传播时，梯度可以通过跳跃连接直接传递到浅层（无需经过所有卷积层），避免梯度在深层传递中衰减至0；
- 简化学习目标：残差F(x)F(x)F(x)通常比直接学习H(x)H(x)H(x)更容易（例如，当最优映射接近恒等映射时，F(x)F(x)F(x)只需学习接近0的小值）；
- 保留低层特征：输入xxx直接传递到深层，避免低层特征在多层变换中被“稀释”。
ResNet的典型结构
ResNet根据网络深度分为多个版本（如ResNet-18、34、50、101、152），数字代表总层数（含卷积层和全连接层）。其中：
- 浅层ResNet（18/34层）：使用“基础残差块”，由2个3×3卷积层组成；
- 深层ResNet（50/101/152层）：使用“瓶颈残差块（Bottleneck Block）”，通过1×1卷积先降维、再用3×3卷积计算、最后1×1卷积升维，在增加深度的同时减少参数和计算量。
整体结构遵循“卷积层 + 残差块堆叠 + 全局池化 + 全连接层”的范式，通过残差块的重复堆叠实现“超深”网络（最深达152层）。
ResNet的意义与影响
- 突破深度限制：首次实现了100层以上网络的有效训练，证明“更深的网络可以更优”；
- 成为基础架构：残差连接被广泛借鉴到后续模型中（如ResNeXt、DenseNet、Transformer等），成为深度学习的“标准组件”；
- 推动视觉任务发展：在图像分类、目标检测（如Faster R-CNN）、语义分割（如U-Net改进版）等任务中，基于ResNet的模型长期保持SOTA（State-of-the-Art）性能。
简言之，ResNet通过“残差学习”和“跳跃连接”解决了深层网络的训练难题，不仅刷新了当时的视觉任务精度，更重塑了深度学习模型的设计思路，至今仍是计算机视觉领域的基础模型之一。