深度学习学习笔记

Day06

机器学习、深度学习——>都是实现AI一种途径方式

机器学习：只要数学好，公式都能推导出来

深度学习：解释性稍微差，例如：分层->6层就是比5层好，不知道为什么，但是实验结果是如此

什么是神经网络

人工神经网络（Artificial Neural Network，简写为ANN）也称为神经网络（NN），是一种模仿生物神经网络结构和功能的计算模型。人脑可以看作是一个生物神经网络，由众多的神经元连接而成。各个神经元传递复杂的电信号，树突接收到输入信号，然后对信号进行处理，通过轴突输出信号

当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号

如何构建神经网络

神经网络是由多个神经元组成，构建神经网络就是再构建神经元，神经元构建说明：

加权求和——>通过sigmoid映射前面的加权求和

这个过程就像，来源不同的树突（树突都会由不同的权重）的信息，进行的加权计算，输入到细胞中做加和，再通过激活函数输出细胞值

使用多个神经元来构建神经网络，相邻层之间的神经元相互连接，并给每一个连接分配一个强度（权重）：

文字介绍：

神经网络中信息只向一个方向移动，即从输入节点向前移动，通过隐藏节点，再向输出节点移动。其中的基本部分是：

1、输入层（Input Layer）：即输入x的那一层（如图像、文本、声音等）。每个输入特征对应一个神经元。输入层将数据传递给下一层的神经元

2、输出层（Output Layer）：即输出y的那一层。输出层的神经网络的任务（回归，分类等）生成的最终的预测结果

3、隐藏层（Hidden Layers）：输入层和输出层之间都是隐藏层，在神经网络中，隐藏层是介于输入层与输出层之间的所有网络层，负责对输入特征进行逐层变换和抽象提取，是实现模型非线性拟合能力的核心部分。

神经网络特点：

同一层的神经网络之间没有连接

第N层的每个神经元和第N-1层的所以神经元相连（这就是full connected的含义），这就是全连接神经网络

全连接神经网络接收的样本数据是二维的，数据再每一层之间需要以二维的形式传递

第N-1层神经元的输出就是第N层神经元的输入

每个连接都有一个权重（w系数和b系数）

加权求和+激活函数——>神经元+神经元——>神经网络

激活函数

激活函数用于对每层的输出数据进行变换，进而为整个网络注入了非线性因素。此时，神经网络就可以拟合各种曲线

1、没有引入非线性因素的网络等价于使用一个线性模型来拟合

2、通过给网络输出增加激活函数，实现引入非线性因素，使得网络模型可以逼近任意函数，提升网络对复杂问题的拟合能力

常见的激活函数-sigmoid激活函数

激活函数公式：x越大，整体越大

激活函数求导公式：

sigmoid激活函数的函数图像：

1、sigmoid函数可以将任意的输入映射到（0，1）之间，当输入的值大致在<-6或者》6时，意味着输入任何值得到的激活值都是差不多的，这样会丢失部分信息。比如：输入100和输出10000经过sigmoid的激活函数几乎都是等于1的，但是输入的数据之间相差100倍的信息就丢失了

2、对应sigmoid函数而言，输入值在[-6,-6]之间输出值才会有明显差异，输入值在[-3,3]之间才会有比较好的效果

3、通过上述导数图像，我们发现倒数数值范围是（0，0.25），当输入<-6或者>6时，sigmoid激活函数图像的导数接近为0，此时网络参数将更新极其缓慢，或者无法更新。

4、一般来说，sigmoid网络在5层之内就会产生梯度消失的现象。而且，该激活函数并不是以0为中心的，所以在实践中这种激活函数使用很少。sigmoid函数一般只用于二分类的输出层