EXCEL文件展示LSTM计算
1. 准备前向传播结果
在执行参数更新前,需要先完成 LSTM 的前向传播,得到:
- 各时间步的遗忘门输出、输入门输出、候选状态、输出门输出
- 细胞状态、隐藏状态,以及最终的损失值
这些是反向传播求梯度的基础。
2. 反向传播计算权重梯度从损失值出发,根据链式法则反向计算四个门控权重的梯度:
遗忘门权重梯度:∂L/∂Wf(本实验中该梯度为 0)
输入门权重梯度:∂L/∂Wi
候选状态权重梯度:∂L/∂Wc
输出门权重梯度:∂L/∂Wo
3. 更新输入门权重 Wi
采用梯度下降法更新输入门权重,公式:Wi_new = Wi_old - 学习率 × ∂L/∂Wi(学习率取 0.01)更新后,输入门权重在原基础上小幅调整,朝着降低损失的方向优化![]()
4. 更新候选状态权重 Wc
同理,更新候选状态权重,公式:Wc_new = Wc_old - 学习率 × ∂L/∂Wc由于本次实验中梯度为负值,更新后的权重会在原基础上小幅上升
![]()
5. 更新输出门权重 Wo
最后更新输出门权重,公式:Wo_new = Wo_old - 学习率 × ∂L/∂Wo至此,完成了 LSTM 网络一轮完整的前向传播、反向传播与参数更新过程。
