RNN，LSTM，BiLSTM算法的具体细节

NLP-AHU-150

一、RNN（循环神经网络）

1. 设计启发:处理序列数据

2. 核心设计：循环隐藏层，当前输出依赖当前输入 + 过去隐藏状态

3. 数学表达：

4. 核心缺陷：梯度消失 / 梯度爆炸

二、LSTM（长短期记忆网络）

1. 设计启发：解决RNN核心缺陷的梯度消失问题，缓解梯度爆炸问题

2. 核心设计：细胞状态（Cell State）Ct+ 3 个门控单元（遗忘门、输入门、输出门）

3. 数学表达

三、BiLSTM（双向长短期记忆网络）

1. 设计启发：传统 LSTM 仅按从左到右的顺序处理序列，它同时建模正向和反向的时序依赖

2. 核心设计：两个独立的 LSTM 层

3. 数学表达

本人解读：前向 LSTM：建模t时刻之前的时序依赖

后向 LSTM：建模t时刻之后的时序依赖

四、总结