CNN卷积神经网络学习笔记

1.卷积类比滤波器：用一个小的模板（卷积核/滤波器）在输入信号（图像）上滑动，对局部区域进行加权求和，从而改变或提取信号的某些特征。

1.2卷积核,权重（3*3里面具体的9个数）可学习；卷积核，3*3等；步长，核每次滑动的格数；填充，补零；

1.3感受野：视觉感受区域的大小；CNN中某一层输出结果的一个元素对应输入层的一个映射。一幅图中的重要特征。卷积核是“可移动的观察窗口”。感受野是“这个窗口在原始图上映射的实际范围”。卷积可以实验感受野，滤波功能，提取特征。

1.4空洞卷积，在卷积核中插入空洞，扩大感受野，不增加计算量。可控制插入空洞的数量。适用于需要大范围上下文信息但不能损失分辨率的场景（比如语义分割、语音合成）。主要为了扩大感受野提升精度，计算量变化不大。

1.5深度可分离卷积，将标准卷积分解为逐点卷积和深度卷积，减少计算量；先对每个通道分别进行卷积操作，然后通过逐点卷积将不同通道的结果融合在一起。可以减少计算量，对结果损失较小，应用于轻量化网络；（如果要将模型跑到资源有限的设备上，需要考虑轻量化）。深度可分离卷积是分组卷积的一种特殊组合形式。

1.6分组卷积，按通道分组并行计算，显著减少参数，适用于大规模数据处理。

空洞卷积，深度可分离卷积，分组卷积可以出现在下采样之前作为特征提取器；也可以通过调整步长（>1）来充当下采样；空洞卷积一般用来代替下采样。

1.7反卷积，上采样，3*3——7*7，将低维特征图映射到高维空间，常用于图像重建，上采样。对低分辨率输入特征图像素之间插入0或进行特定的填充。卷积核可训练，

1.8PixelShuffle亚像素卷积，上采样，广泛应用在如图像分割等计算机视觉问题上；相比反卷积，它克服了反卷积容易产生的棋盘格的问题。

1.9计算特征图大小：（输入尺寸+2*填充-卷积核尺寸）/步长+1

1.10多通道卷积，x方向：卷积核第一行元素为1，其他为0；

1.11池化：下采样，4*4——2*2；平均池化，最大池化；

2.Lenet 5卷积神经网络（CNN，卷积神经网络的开山鼻祖之一）

卷积神经网络（Convolutional Neural Network, CNN）是一类专门用于处理网格状数据（如图像、视频、时间序列）的深度学习模型。它的设计灵感来自动物视觉皮层，通过模拟局部感受野、权值共享等机制，极大地减少了参数数量，并能自动学习层次化的空间特征。核心构件：卷积层，激活函数，池化层，全连接层。

输入—2个 卷积层（6个卷积核，6个通道，提取特征）—两个池化—两个全连接—输出

32*32——卷积+非线性RELU（6个卷积核，5*5）——6*28*28——池化，压缩数据（2*2）——6*14*14——卷积（5*5，16个卷积核）——16*10*10——池化——16*5*5——两个全连接

卷积核后，28*28*6（32-5+1），共享卷积核权重，共（5*5+1）*6个参数需要优化，1是偏置；连接有（5*5+1）*6*（28*28）个，前馈有多少个连接就有多少个参数

池化后，参数有2*6（2，一个权重，一个偏置）个，连接（2*2+1）*6*（14*14）个

第二个卷积，14-5+1=10，16个卷积核和6个通道有对应关系，有关参数计算，16个卷积核分别对前6个通道中的几个通道叠加后进行卷积；

全连接层，16*5*5=200（第一层）；将前面提取的局部特征进行全局整合，并映射到样本标记空间。

梯度下降法优化权重与偏置。迭代慢——控制学习速率·或·其他