AlexNet：它由五个卷积层，三个最大池化层，两个全连接隐藏层和一个全连接输出层组成，采用ReLu作为激活函数，在训练过程中引入dropout增强模型泛化能力，在2012年ImageNet图像大赛上大放异彩，历史意义极其重要，它的出现引导了人们从设计特征为主到学习特征为主的思维转变，证明了深层神经网络非常有效。
VGG：使用块的网络（它本质上还是个神经网络也是由卷积层，全连接层等各种深度学习神经网络组件构成），那什么叫做块呢，块其实是对一系列神经网络层的封装（如果使用过面向对象的语言，相信你一看就知道块的含义），这种封装的出现促进了神经网络学习架构向工程化方向迈进，块与块之间的解耦，利于人们更为灵活的设计更加复杂的更深的神经网络
NiN：网络中的网络，为什么称之为网络中的网络呢？这是因为在NiN网络块中，引入了一个两层的卷积核大小是1*1的MLP(多层感知机网络)，这样做的目的主要是为了解决全连接层参数爆炸和卷积层平铺后空间结构特征缺失的问题，那它是怎么解决这个参数爆炸呢，核心就是这两个1*1的卷积层，通过卷积层和全连接层参数量计算公式可以很明显的得出参数量骤降的结论（卷积层参数量计算：（核高*核宽*输入通道数+1）*输出通道数），全连接层参数量计算：（输入通道数+1）*输出通道数，全连接层的输入通道数一般很大，是因为卷积层输出后要平铺，即通道数*特征高*特征宽），那它的空间结构特征缺失是怎么解决的呢，还是因为这个小型MLP，它相当于逐像素的按通道维度进行滑动特征提取，自然不会丧失空间结构特征
GoogLeNet：含并行连接的网络，其并行连接体现在使用了inception块儿，该块由四条链路构成，输入经过这四条链路输出后在通道维进行连接，其中三条链路配置了大小不同的卷积核层，另一条链路设置了一个3*3的最大池化层。那它为什么采用不同大小的卷积核呢，这主要是为了识别不同大小的图像细节，增强模型的表达能力，同时该块也在其中两条链路上使用1*1的卷积层，这是为了从通道的维度降低模型的复杂度，提高计算效率
ResNet：残差网络，它主要体现了神经网络往深了探索，那什么是残差块呢，它由卷积层，BN层，ReLu激活函数，卷积层，BN层，恒等映射，ReLu激活函数串行构成，恒等映射会将原始输入与经过网络变换后的输入进行相加，这有助于输入通过恒等连接更快的向前传播，提高训练效率，也有助于梯度可以无衰减的传递到浅层网络，缓解梯度消失问题增强深层网络训练的稳定性
DenseNet：稠密连接网络，它也是促使神经网络往深了探索，那它的稠密连接体现在哪里了，主要体现在每一层的输出都与之前的输入在通道维上进行连接，作为下一层的输入，稠密块内的卷积层越多产生的连接就越多，这样连接就会显得很稠密，这种形式的连接使得梯度传播更加平滑，有效缓解了深层网络中的梯度消失问题，同时也是特征得到复用，提高了计算效率