LSTM（长短期记忆网络）完整计算过程手动推导+验证
1. LSTM核心结构说明
LSTM是循环神经网络的一种，专门解决时序任务的长依赖问题，核心包含4个控制门，每个时刻的计算依赖上一时刻的隐藏状态ht−1h_{t-1}ht−1和细胞状态ct−1c_{t-1}ct−1，以及当前时刻输入xtx_txt：
| 门/状态 | 作用 | 计算公式 |
|---|---|---|
| 遗忘门$f_t$ | 控制上一时刻细胞状态的保留比例 | $f_t = \sigma(W_f \cdot [h_{t-1},x_t] + b_f)$ |
| 输入门$i_t$ | 控制当前时刻新信息的写入比例 | $i_t = \sigma(W_i \cdot [h_{t-1},x_t] + b_i)$ |
| 候选细胞状态$\tilde{c_t}$ | 生成当前时刻的新信息 | $\tilde{c_t} = tanh(W_c \cdot [h_{t-1},x_t] + b_c)$ |
| 当前细胞状态$c_t$ | 综合历史和当前信息的全局状态 | $c_t = f_t * c_{t-1} + i_t * \tilde{c_t}$ |
| 输出门$o_t$ | 控制细胞状态输出到隐藏状态的比例 | $o_t = \sigma(W_o \cdot [h_{t-1},x_t] + b_o)$ |
| 当前隐藏状态$h_t$ | 当前时刻的输出特征 | $h_t = o_t * tanh(c_t)$ |
| *注：$\sigma$为sigmoid激活函数，$\sigma(x)=\frac{1}{1+e^{-x}}$；*为哈达玛积（对应元素相乘） |
2. 初始参数设定
为了方便计算，我们使用单输入、单隐藏神经元的最简LSTM结构，参数和初始值如下：
- 权重&偏置：
- 遗忘门：Wf=[0.5,0.3],bf=0.1W_f=[0.5, 0.3], b_f=0.1Wf=[0.5,0.3],bf=0.1
- 输入门：Wi=[0.4,0.6],bi=0.2W_i=[0.4, 0.6], b_i=0.2Wi=[0.4,0.6],bi=0.2
- 候选细胞：Wc=[0.2,0.1],bc=0.05W_c=[0.2, 0.1], b_c=0.05Wc=[0.2,0.1],bc=0.05
- 输出门：Wo=[0.3,0.7],bo=0.15W_o=[0.3, 0.7], b_o=0.15Wo=[0.3,0.7],bo=0.15
- 初始状态（t=0时刻）：h0=0,c0=0h_0=0, c_0=0h0=0,c0=0
- 输入时序数据：x1=2,x2=3x_1=2, x_2=3x1=2,x2=3（我们计算t=1和t=2两个时刻的完整流程）
3. 逐时刻计算过程
3.1 t=1时刻计算
当前输入x1=2x_1=2x1=2，上一时刻状态h0=0,c0=0h_0=0, c_0=0h0=0,c0=0，拼接特征[h0,x1]=[0,2][h_0, x_1]=[0,2][h0,x1]=[0,2]
- 遗忘门：f1=σ(0.5∗0+0.3∗2+0.1)=σ(0.7)≈0.6682f_1=\sigma(0.5*0 + 0.3*2 + 0.1)=\sigma(0.7)≈0.6682f1=σ(0.5∗0+0.3∗2+0.1)=σ(0.7)≈0.6682
- 输入门：i1=σ(0.4∗0+0.6∗2+0.2)=σ(1.4)≈0.8022i_1=\sigma(0.4*0 + 0.6*2 +0.2)=\sigma(1.4)≈0.8022i1=σ(0.4∗0+0.6∗2+0.2)=σ(1.4)≈0.8022
- 候选细胞：c1~=tanh(0.2∗0+0.1∗2+0.05)=tanh(0.25)≈0.2449\tilde{c_1}=tanh(0.2*0 +0.1*2 +0.05)=tanh(0.25)≈0.2449c1~=tanh(0.2∗0+0.1∗2+0.05)=tanh(0.25)≈0.2449
- 细胞状态更新：c1=f1∗c0+i1∗c1~=0.6682∗0+0.8022∗0.2449≈0.1965c_1 = f_1*c_0 + i_1*\tilde{c_1} = 0.6682*0 + 0.8022*0.2449≈0.1965c1=f1∗c0+i1∗c1~=0.6682∗0+0.8022∗0.2449≈0.1965
- 输出门：o1=σ(0.3∗0+0.7∗2+0.15)=σ(1.55)≈0.8249o_1=\sigma(0.3*0 +0.7*2 +0.15)=\sigma(1.55)≈0.8249o1=σ(0.3∗0+0.7∗2+0.15)=σ(1.55)≈0.8249
- 隐藏状态更新：h1=o1∗tanh(c1)=0.8249∗tanh(0.1965)≈0.8249∗0.194≈0.1600h_1 = o_1*tanh(c_1)=0.8249*tanh(0.1965)≈0.8249*0.194≈0.1600h1=o1∗tanh(c1)=0.8249∗tanh(0.1965)≈0.8249∗0.194≈0.1600
3.2 t=2时刻计算
当前输入x2=3x_2=3x2=3，上一时刻状态h1=0.16,c1=0.1965h_1=0.16, c_1=0.1965h1=0.16,c1=0.1965，拼接特征[h1,x2]=[0.16,3][h_1, x_2]=[0.16,3][h1,x2]=[0.16,3]
- 遗忘门：f2=σ(0.5∗0.16+0.3∗3+0.1)=σ(1.08)≈0.7465f_2=\sigma(0.5*0.16 + 0.3*3 + 0.1)=\sigma(1.08)≈0.7465f2=σ(0.5∗0.16+0.3∗3+0.1)=σ(1.08)≈0.7465
- 输入门：i2=σ(0.4∗0.16+0.6∗3+0.2)=σ(2.064)≈0.8873i_2=\sigma(0.4*0.16 + 0.6*3 +0.2)=\sigma(2.064)≈0.8873i2=σ(0.4∗0.16+0.6∗3+0.2)=σ(2.064)≈0.8873
- 候选细胞：c2~=tanh(0.2∗0.16+0.1∗3+0.05)=tanh(0.382)≈0.3646\tilde{c_2}=tanh(0.2*0.16 +0.1*3 +0.05)=tanh(0.382)≈0.3646c2~=tanh(0.2∗0.16+0.1∗3+0.05)=tanh(0.382)≈0.3646
- 细胞状态更新：c2=f2∗c1+i2∗c2~=0.7465∗0.1965+0.8873∗0.3646≈0.4709c_2 = f_2*c_1 + i_2*\tilde{c_2} = 0.7465*0.1965 + 0.8873*0.3646≈0.4709c2=f2∗c1+i2∗c2~=0.7465∗0.1965+0.8873∗0.3646≈0.4709
- 输出门：o2=σ(0.3∗0.16+0.7∗3+0.15)=σ(2.298)≈0.9088o_2=\sigma(0.3*0.16 +0.7*3 +0.15)=\sigma(2.298)≈0.9088o2=σ(0.3∗0.16+0.7∗3+0.15)=σ(2.298)≈0.9088
- 隐藏状态更新：h2=o2∗tanh(c2)=0.9088∗tanh(0.4709)≈0.9088∗0.4388≈0.3989h_2 = o_2*tanh(c_2)=0.9088*tanh(0.4709)≈0.9088*0.4388≈0.3989h2=o2∗tanh(c2)=0.9088∗tanh(0.4709)≈0.9088∗0.4388≈0.3989
4. 结果说明
可以看到t=2时刻的细胞状态和隐藏状态都融合了t=1时刻的信息，完美体现了LSTM的时序记忆特性。如果是多分类/回归任务，只需要在最后一个时刻的hth_tht后接全连接层+对应激活函数即可得到最终预测结果，后续的损失计算和反向传播逻辑和普通MLP一致。