吴恩达深度学习笔记第三周：手把手推导单隐层神经网络的前向与反向传播
吴恩达深度学习笔记第三周：手把手推导单隐层神经网络的前向与反向传播
在Coursera的深度学习专项课程中，吴恩达教授将神经网络的基础知识拆解为易于消化的模块。但对于真正想掌握其数学本质的学习者来说，仅观看视频远远不够。本文将以单隐层神经网络为例，带你用纸笔一步步推导矩阵运算与梯度计算的全过程，这是理解更复杂架构的必经之路。
1. 单隐层神经网络的结构拆解
一个标准的单隐层神经网络包含三层结构：输入层（第0层）、隐藏层（第1层）和输出层（第2层）。假设我们有：
- 输入特征维度：3（即x₁, x₂, x₃）
- 隐藏层神经元数量：4
- 输出层神经元数量：1（二分类问题）
各层参数矩阵的维度必须严格对应：
- W⁽¹⁾：隐藏层权重矩阵，维度为(4,3)
行数=当前层神经元数，列数=前一层特征数 - b⁽¹⁾：隐藏层偏置向量，维度为(4,1)
- W⁽²⁾：输出层权重矩阵，维度为(1,4)
- b⁽²⁾：输出层偏置标量，维度为(1,1)
初始化技巧：W应采用
np.random.randn()*0.01进行微小随机初始化，b可初始化为零向量
2. 前向传播的矩阵运算推导
前向传播需要依次计算隐藏层和输出层的线性组合（z）与激活输出（a）。我们以单个样本为例：
2.1 隐藏层计算
z⁽¹⁾ = W⁽¹⁾·x + b⁽¹⁾ # (4,3)×(3,1)+(4,1) → (4,1) a⁽¹⁾ = g(z⁽¹⁾) # g为激活函数如ReLU关键步骤验证：
- W⁽¹⁾·x执行矩阵乘法，每个隐藏神经元接收所有输入特征的加权和
- 偏置b⁽¹⁾逐元素添加到结果中
- 激活函数g(·)按元素作用，引入非线性
2.2 输出层计算
z⁽²⁾ = W⁽²⁾·a⁽¹⁾ + b⁽²⁾ # (1,4)×(4,1)+(1,1) → (1,1) a⁽²⁾ = σ(z⁽²⁾) # 二分类常用sigmoid此时a⁽²⁾即为预测输出ŷ。对于m个样本的批量处理，只需将输入x扩展为矩阵X（每列一个样本），所有中间结果维度末尾增加m。
3. 反向传播的梯度计算原理
反向传播通过链式法则计算损失函数对各参数的偏导。假设使用交叉熵损失J，关键导数如下：
3.1 输出层梯度
dz⁽²⁾ = a⁽²⁾ - y # (1,1) dW⁽²⁾ = dz⁽²⁾·(a⁽¹⁾)ᵀ # (1,1)×(1,4) → (1,4) db⁽²⁾ = dz⁽²⁾ # (1,1)3.2 隐藏层梯度
dz⁽¹⁾ = (W⁽²⁾)ᵀ·dz⁽²⁾ * g'(z⁽¹⁾) # (4,1)×(1,1) → (4,1) dW⁽¹⁾ = dz⁽¹⁾·xᵀ # (4,1)×(1,3) → (4,3) db⁽¹⁾ = dz⁽¹⁾ # (4,1)其中g'(z⁽¹⁾)是激活函数的导数：
- ReLU导数为1(z>0)或0(z≤0)
- Sigmoid导数为a(1-a)
4. 激活函数的选择与实现
不同层的激活函数选择直接影响模型性能：
| 激活函数 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| Sigmoid | 输出层（二分类） | 输出范围(0,1) | 易梯度消失 |
| Tanh | 隐藏层 | 零中心化 | 计算量较大 |
| ReLU | 隐藏层（默认） | 计算简单/缓解梯度消失 | 负数区失效 |
实际编码时，激活函数及其导数可并行计算：
def relu(z): return np.maximum(0,z) def relu_derivative(z): return (z > 0).astype(float)5. 向量化实现技巧
批量处理m个样本时，矩阵运算需特别注意维度对齐。以隐藏层为例：
Z⁽¹⁾ = W⁽¹⁾·X + b⁽¹⁾ # (4,3)×(3,m)+(4,1) → (4,m)这里通过广播机制自动扩展b⁽¹⁾。反向传播时：
dW⁽²⁾ = (1/m) * dz⁽²⁾·(A⁽¹⁾)ᵀ # (1,m)×(m,4) → (1,4)这种实现比循环快100倍以上。一个完整的训练迭代包含：
- 前向传播计算预测值
- 计算损失J
- 反向传播求梯度
- 梯度下降更新参数：
W⁽¹⁾ -= α·dW⁽¹⁾ b⁽¹⁾ -= α·db⁽¹⁾
推导过程中最容易出错的是矩阵维度匹配。建议在编写代码前先手写验证维度变化，例如：
- W⁽¹⁾·x的(4,3)×(3,1)确实得到(4,1)
- 反向传播时(W⁽²⁾)ᵀ·dz⁽²⁾的(4,1)×(1,1)通过广播变为(4,1)