全连接神经网络瓶颈
全连接网络特点：每个隐层都与前层所有的神经元相连。
全连接层缺点：
1.当图像越大，隐层神经元越多，权值和偏置越多，模型会非常复杂导致过拟合；
2.对于三维度的图像信息全排列成一列的信息，忽略了图像数据的形状特征。
因此，全连接神经网络的输入适合小图像或者已经用特征向量表示的图像。而卷积神经网络是学习多个卷积核组计算出图像的特征向量，作为上面全连接神经网络的输入。卷积层也可保持形状不变，当输入数据是图像时，卷积层会以3 维数据的形式接收输入数据，并同样以3 维数据的形式输出至下一层
CNN网络特点
卷积神经网络（Convolutional Neural Network，CNN）。CNN被用于图像识别、语音识别等各种场合，在图像识别的比赛中，基于深度学习的方法几乎都以CNN为基础。主要分为：卷积层、激活层、池化层、全连接层。
CNN 中新增了Convolution 层和Pooling 层。CNN 的层的连接顺序是“Convolution - ReLU -（Pooling）”（Pooling 层有时会被省略）。这可以理解为之前的“Affine - ReLU”连接被替换成了“Convolution -ReLU -（Pooling）”连接
Convolution 层的作用：与纹理表示中卷积核组相同最终目标是得到特征响应，作为FC层的输入。
Pooling 层的作用：减少数据计算量、增大视图感受野
卷积层
卷积核
一个卷积核的计算
计算过程中，于一个像素而言，卷积核与原图覆盖对应的像素位置进行卷积计算(相当于点乘求和)得到一个数再加上偏置b得到该像素的特征响应值，因此整图计算完得到一个二维的特征响应图。
多个卷积核计算情况：
理解：
1.当卷积核组有6个卷积核时，对应得到的特征响应图深度为6，分别描述了6个不同基元卷积核的特征响应；
2.每个位置的响应值，若对应特征响应值大那么该位置对应于原图上的特征显著。
3.当设计网络时，需要设定特征响应图的W、H和前层卷积核的个数(决定响应图的深度)。卷积核的大小通常设定为3_3、5_5、…、最大到11*11
卷积步长（stride）
卷积神经网络中，卷积核 可以按照指定的间隔进行卷积操，这个间隔就是 卷积步长 。
特征图尺寸和图尺寸、卷积核尺寸、卷积步长的关系如下图：
边界填充
CNN中常用的填充方式是零值填充，与卷积核尺寸、卷积步长、零填充数量关系如下图：
图中公式可以计算：
1.假设设定了W1、F、P，可以得到输出W2的大小；2.假设知道W1、W2、F可以计算填充大小
特征响应图尺寸计算总结：
注意：设计网络时不需要考虑特征图的深度，因为它是由前层卷积核个数决定的
池化操作（pool）
理解：1.神经网络反向传播时需要用到前向网络的计算结果，正向计算结果通常要预存在显存中，因此通常需要降低数据量，减少显存的需求量。2.降数据量，可以通过池化操作减小特征图大小。3.当特征图缩小了，同样大小的卷积核相当于能覆盖更大的视野（相当于对原特征响应图用了更大方差的卷积核），因此池化操作的作用：减小数据量、增大感受野
注意：池化操作是对每个特征响应图进行独立操作，而不是卷积操作计算的总和
最大池化操作例子：
池化步长、池化窗口、池化方式都是需要自己设置的。最大池化可以理解为cv中边缘提取的非最大化抑制
图像增强
经典网络
目标分类网络：Alexnet ZFnet VGG GoogleNet ResNet
目标检测与分割网络：FCN、R-CNN、fast R-CNN、faster R-CNN、YOLO全系列、Mask R-CNN
注：本文搬运自本人20250409的CSDN文章：https://blog.csdn.net/sinat_26398509/article/details/147096514?spm=1001.2014.3001.5502