【神经网络】前向传播和反向传播
1. 前向传播
- 作用：从输入层开始，逐层计算到输出层，得到预测结果。
- 过程：数据经过每一层的线性变换(权重 * 输入 + 偏置) 和 非线性激活函数(如ReLU，Sigmoid)，最终输出预测值。
- 附加任务：在训练时，还会根据预测值与真实标签计算损失函数（如交叉熵、均方误差）
例如：输入一张猫的图片，前向传播后模型输出“这是猫”的概率为85%
2. 反向传播
-
作用：利用链式法则，从输出层反向计算每个参数对损失的影响(即梯度)，为了参数更新提供依据。
-
过程：
（1）从损失值出发，逐层计算损失对权重和偏置的偏导数；
（2）使用优化器(如SGD、Adam)沿梯度反方向更新参数，以最小化损失。
-
依赖机制：基于动态计算图记录的操作历史，实现自动微分(Autograd)
举例：发现“猫”被误判为“狗”，反向传播会调整各层权重，使下次更准确识别。
3. 两者关系：
| 阶段 | 方向 | 核心任务 |
|---|---|---|
| 前向传播 | 输入 → 输出 | 生成预测、计算损失 |
| 反向传播 | 输出 → 输入 | 计算梯度、更新参数 |
4. 答疑：
（1）为什么还要计算损失函数？
通俗理解：如果没有损失函数，神经网络就像一个盲目涉及的人，他射出了子弹(得到了结果)，但不知道靶心在哪里，也不知道自己偏了多少，因此永远无法修正自己的姿势。
详细解释：
量化误差：它将预测值 和 真实标签 之间的差异压缩成一个数字(Loss)
- Loss 越大 → 模型错的越离谱。
- Loss 越小 → 模型越接近真相。
提供优化方案：反向传播的“指南针”
梯度来源：反向传播需要计算损失函数对每个权重参数 W 的偏导数（即梯度 ∂ L / ∂ W）
没有损失函数就没有梯度：如果只得到预测结果而不计算损失，就无法构建从输出层回传到输入层“误差信号链”
指导更新：优化器(如SGD，Adam)依据这个梯度来决定：
- 哪个权重导致了错误？
- 应该增加还是减少这个权重？
- 调整的步长是多少？