正向传播与反向传播（神经网络思维的逻辑回归） - 教程

按照前向或者反向传播i过程来实现的，首先计算出神经网络的输出，紧接着进行一个反向传输操作，后者我们用来计算对应的梯度或者导数。就是神经网络的计算过程都

通俗来讲，神经网络的训练过程，就是经过很多次前向传播与反向传播的轮回，最终不 断调整其内部参数（权重ω 与偏置 b），以拟合任意复杂函数的过程。前向传播指的是：从输入到输入的一个非线性函数的推理过程，获得拟合的参数，得到一个拟合参数后的激活函数。反向传播指的是：根据前向传播拟合的参数计算预测值，并计算损失函数，通过梯度下降算法不断的优化这个参数。

一、计算图

以一个简单的J函数（成本函数）为例，它的计算过程如下：

从上图允许看出，从左向右的过程，能够计算出J的值；那么从右向左的过程如下图所示：

当这个函数的导数为0 的时候，因为我们的成本函数近似于一个凸函数，当导数为0时就对应着J函数的最小值。所以，从右向左的过程也就对应着计算导数的过程。就是从右向左的计算过程，正对应着我们不断优化参数值，寻找最小J函数值的过程，我们知道计算一个函数的最小值，就

在从右向左的计算中，我们能够逐步计算出J函数对每一个变量的偏导数，从而便于我们对每一个变量进行梯度下降算法，找到最小的J函数值。下面是以逻辑回归的单个样本的梯度下降为实例讲解反向传播过程：

m的个样本的梯度下降，就是将所有样本关于参数的导数加起来求平均。

上述所有的示例，是为了让我们更好地理解正向传播和反向传播。

二、构建一个逻辑回归分类器来识别猫（使用神经网络思维）

（一）数据集

数据集（“data.h5”），其中包含： - 标记为 cat （y=1） 或非 cat （y=0） 的 m_train 张图像的训练集 - 标记为 cat 或非 cat 的 m_test 张图像的测试集 - 每个图像的形状（num_px、num_px、3），其中 3 表示 3 个通道 （RGB）。因此，每个图像都是正方形（高度 = num_px）和（宽度 = num_px）。训练集、测试集、每一个样本图像的像素长度或者宽度。

对训练集和测试集特征进行矩阵形状的重塑：一个 numpy 数组，其中每列代表一个扁平化的图像。应该有 m_train 列（分别 m_test 列）。就是在此之后，我们的训练（和测试）数据集

标准化数据：机器学习中一个常见的预处理步骤是将素材集居中并标准化，这意味着您从每个示例中减去整个 numpy 数组的平均值，然后将每个示例除以整个 numpy 数组的标准差。但对于图片数据集，它更简单、更方便，并且只需将数据集的每一行除以 255（像素通道的最大值）几乎一样有用。