从LeNet到ResNet：用NN-SVG和PlotNeuralNet复现经典网络架构图

从LeNet到ResNet：用NN-SVG和PlotNeuralNet复现经典网络架构图

在深度学习领域，理解神经网络的结构就像建筑师需要熟悉蓝图一样重要。许多初学者在阅读论文时，常常被那些复杂的网络架构图弄得晕头转向——卷积层、池化层、全连接层、跳跃连接，这些术语在二维纸面上看起来简单，但当它们以特定方式堆叠组合时，往往让人难以直观把握整体结构。

我至今记得第一次尝试理解ResNet时的困惑：那些跳跃连接到底是如何工作的？为什么152层的网络反而比34层的表现更好？直到我开始亲手绘制这些网络的结构图，一切才变得清晰起来。本文将分享两种我常用的工具——NN-SVG和PlotNeuralNet，它们能帮助你通过"动手画"的方式，真正掌握从LeNet到ResNet这些经典网络的结构精髓。

1. 为什么需要亲手绘制神经网络结构图

当我们只是被动地观看别人绘制的网络结构图时，大脑往往处于一种浅层处理状态。但当我们亲手绘制时，情况就完全不同了——我们需要思考每一层的输入输出尺寸、理解卷积核如何改变特征图的大小、明确跳跃连接的起点和终点。这种主动参与的过程能显著加深理解。

神经科学研究表明，动手绘制能激活大脑中与空间认知和记忆相关的区域。在绘制AlexNet的五个卷积层时，你会自然地注意到前三层使用了大卷积核(11x11,5x5)，而后两层则使用了小卷积核(3x3)。这种细节在被动阅读时很容易被忽略，但在绘制过程中却会变得异常明显。

提示：建议在绘制每个经典网络前，先查阅原始论文中的结构描述，这将帮助你理解设计者的初衷。

2. NN-SVG：交互式可视化入门利器

NN-SVG是MIT开发的一款开源工具，特别适合初学者快速上手。它提供了三种可视化风格：

1. FCNN风格：用节点表示神经元，适合展示全连接网络
2. LeNet风格：二维平铺展示，清晰显示特征图尺寸变化
3. AlexNet风格：三维块状展示，更真实反映卷积过程

2.1 绘制LeNet-5结构

LeNet-5是卷积神经网络的鼻祖，结构相对简单但包含了CNN的基本要素。在NN-SVG中绘制它的步骤如下：

1. 选择"LeNet style"模式
2. 添加输入层：设置为32x32x1（原始论文使用32x32输入，尽管MNIST是28x28）
3. 添加第一卷积层：5x5卷积核，6个滤波器，得到28x28x6特征图
4. 添加平均池化层：2x2窗口，步长2，输出14x14x6
5. 重复类似操作完成第二卷积和池化层
6. 最后添加两个全连接层

# LeNet-5各层参数示例 layers = [ {'type':'conv', 'filters':6, 'kernel_size':5, 'stride':1}, # C1 {'type':'pool', 'pool_size':2, 'stride':2}, # S2 {'type':'conv', 'filters':16, 'kernel_size':5, 'stride':1}, # C3 {'type':'pool', 'pool_size':2, 'stride':2}, # S4 {'type':'fc', 'units':120}, # C5 {'type':'fc', 'units':84}, # F6 {'type':'fc', 'units':10} # Output ]

2.2 可视化AlexNet的独特设计

AlexNet在2012年ImageNet竞赛中一战成名，其结构有几个关键创新点：

在NN-SVG的AlexNet风格下，这些特点都能得到清晰展示。特别是双GPU设计，在3D视图中会显示为两个并行的网络分支。

3. PlotNeuralNet：LaTeX精准绘图进阶工具

当我们需要更精确地控制网络图的每个细节时，PlotNeuralNet是更好的选择。它基于LaTeX的TikZ包，能生成出版级质量的网络图。

3.1 安装与基础配置

PlotNeuralNet需要Python和LaTeX环境。在Ubuntu系统下安装最为方便：

# 安装依赖 sudo apt-get install texlive-latex-extra sudo apt-get install python3-pip pip install git+https://github.com/HarisIqbal88/PlotNeuralNet.git

3.2 绘制VGG-16网络

VGG-16以其规整的3x3卷积堆叠著称。用PlotNeuralNet绘制它的典型代码如下：

from pycore.tikzeng import * # 定义网络结构 arch = [ to_head('..'), to_cor(), to_begin(), # 输入层 to_input('input.jpg', width=8, height=8), # 卷积块1 (2层) to_Conv("conv1_1", 64, 224, offset="(0,0,0)", to="(0,0,0)", height=64, depth=64, width=2), to_Conv("conv1_2", 64, 112, to="(conv1_1-east)", height=64, depth=64, width=2), to_Pool("pool1", to="(conv1_2-east)", width=1, height=32, depth=32), # 卷积块2 (2层) to_Conv("conv2_1", 128, 56, to="(pool1-east)", height=32, depth=32, width=4), # ... 其他层类似 ]

VGG网络的特点是大量使用3x3卷积核，这在PlotNeuralNet中可以清晰展示。每个卷积块包含2-3个卷积层后接一个最大池化层，这种重复模式在代码中也能很好体现。

3.3 处理ResNet的跳跃连接

ResNet的革命性创新是引入了残差连接（skip connection），这在PlotNeuralNet中有专门的处理方式：

# ResNet残差块示例 to_skip("res2_1", of='conv2_1', to='conv2_3', pos=1.25), to_ConvRes("conv2_3", 128, 56, to="(conv2_2-east)", height=32, depth=32, width=4, caption="Residual"),

绘制时需要注意：

1. 主路径和跳跃路径要用不同颜色区分
2. 加法操作节点要明确标出
3. 维度变化处要特别检查（如降采样时）

4. 工具对比与实战技巧

根据不同的需求，两个工具各有优劣：

4.1 提高绘图效率的技巧

1. 模板复用：为常用结构（如残差块、Inception模块）创建模板
2. 分层绘制：先画主干再添加细节
3. 版本控制：用Git管理网络图代码，特别是复杂结构
4. 参数化：使用变量定义重复参数（如卷积核大小）

4.2 常见问题解决

• NN-SVG层数限制：对于超深网络(如ResNet152)，可以分段绘制后拼接
• PlotNeuralNet中文支持：需要在LaTeX头文件中添加\usepackage{ctex}
• 尺寸不对齐：检查各层的输入输出尺寸是否匹配论文描述

5. 从绘图到深入理解

绘制网络结构图不是最终目的，而是深入理解的手段。当你完成一个经典网络的绘制后，建议思考以下问题：

1. 为什么设计者选择这样的层数和连接方式？
2. 如果增加或减少某些层会怎样？
3. 计算各层的参数数量，理解模型复杂度
4. 尝试在现有结构中添加新的模块（如注意力机制）

以GoogLeNet的Inception模块为例，亲手绘制后你会更清楚理解其"网络中的网络"设计理念——1x1卷积用于降维，并行路径提取多尺度特征。