CNN卷积神经网络算法原理
一、全连接神经网络的整体结构
全连接神经网络由输入层、隐藏层和输出层构成。每一层的神经元与相邻层的所有神经元相互连接，形成密集的网络结构。输入层接收原始数据，隐藏层负责特征提取和转换，输出层生成最终预测结果。参数数量随网络深度和宽度呈指数增长，导致计算复杂度较高。
二、全连接神经网络的结构单元
单个神经元是网络的基本单元，包含权重、偏置和激活函数三部分。输入数据与权重相乘后求和，加上偏置，最终通过激活函数进行非线性变换。
三、为什么要加入激活函数
线性变换的组合仍是线性变换，无法拟合复杂非线性关系。激活函数引入非线性特性，使网络能够学习更复杂的模式。若缺少激活函数，多层网络等效于单层线性模型，失去深层结构的优势。
这里我们考虑把线性函数ℎ(𝑥) = 𝑐𝑥作为激活函数，把𝑦(𝑥) = ℎ(ℎ(ℎ(𝑥)))的运算对应3层神经网络，这个运算会进行𝑦(𝑥) = 𝑐 ∗ 𝑐 ∗ 𝑐 ∗ 𝑥的乘法运算，但是同样的处理可以由𝑦(𝑥) = 𝑎𝑥（注意，这里 𝑎 = 𝑐 ∗∗ 3）一次乘法运算（既没有隐藏层的神经网络）来表示。
1、激活函数---Sigmoid函数
Sigmoid函数的公式和导数如式所示：
Sigmoid函数优点：
1、简单、非常适用分类任务；
Sigmoid函数缺点：
1、反向传播训练时有梯度消失的问题；
2、输出值区间为(0,1)，关于0不对称；
3、梯度更新在不同方向走得太远，使得优化难度增大，训练耗时
2、激活函数---Tanh函数
Tanh函数的公式和导数如式所示：
Tanh函数优点：
1、解决了Sigmoid函数输出值非0对称的问题
2、训练比Sigmoid函数快，更容易收敛；
Tanh函数缺点：
1、反向传播训练时有梯度消失的问题；
2、Tanh函数和Sigmoid函数非常相似。
3、激活函数---ReLU函数
Tanh函数的公式和导数如式所示：
ReLU函数优点：
1、解决了梯度消失的问题；
2、计算更为简单，没有Sigmoid函数和Tanh函数的指数运算；
ReLU函数缺点：
1、训练时可能出现神经元死亡；
4、激活函数---Leaky ReLU函数
Leaky ReLU函数的公式和导数如式所示：
Leaky ReLU函数优点：
1、解决了ReLU的神经元死亡问题;
Leaky ReLU函数缺点：
1、无法为正负输入值提供一致的关系预测（不同区间函数不同）