当前位置：首页 > news >正文

对RNN（循环神经网络），LSTM（长短期记忆网络），BiLSTM（双向长短期记忆网络）等算法的一些介绍

news 2026/6/17 22:44:30

NLP-AHU-053

本文旨在从设计灵感、算法细节、数学表达介绍NLP(自然语言处理)中三个最常见的算法，同时以博客的形式，理清他们三个的设计逻辑，帮助大家更好的理解序列模型。

前言：RNN->LSTM->BiLSTM是一种递进关系，都在前者基础上进行了升级，下面将展开逐步介绍。

一、RNN的诞生，解决传统神经网络的痛点

1.RNN的设计启发

在RNN出现之前，传统的神经网络存在明显的缺陷，比如只能处理独立的输入，无法捕捉序列数据的时序关系、输入输出长度固定等。为解决这些问题，所以科学家们就想：能不能设计一种带有“记忆”功能的网络，让它能把上一步的信息传递到下一步，模拟人类的“记忆习惯”，从而逐步理解整个序列。于是，RNN(循环神经网络）育孕而生，它引入隐状态“（Hidden State）”概念，能保留前文信息并传递到后续计算中，达成对序列数据的动态处理。

2.RNN的核心结构

RNN的核心在于”循环“，如图所示，它的每一步的输入都会结合上一步的隐藏状态，更新当前的隐藏状态，再输出结果。

这里介绍一种单隐层RNN结构，分为以下三个部分：

1.输入层：表示第t时刻的输入（比如句子中的第t个词的嵌入向量）

2.隐藏层：核心是隐藏状态，负责“记忆”上一步的信息，是RNN的核心

3. 输出层：表示第t时刻的输出

RNN的记忆是短期的，无法记住序列中早期的关键信息，还会出现梯度消失、梯度爆炸等问题。

梯度消失：当序列过长时，梯度会随着反向传播不断减小，最终趋近于0，导致模型无法更新早期参数，无法学习到远距离依赖。

梯度爆炸：少数情况下梯度会急剧增大，超出参数更新范围，导致模型训练崩溃。

3.RNN算法细节与数学公式

RNN的核心是“隐藏状态的循环更新”

1.更新隐藏状态公式（核心）

2.计算当前时刻输出公式：

公式中各参数含义：

：输入层到隐藏层的权重矩阵，负责把输入映射到隐藏层维度

：隐藏层到自身的循环权重矩阵，负责把上一步的隐藏状态传递到当前时刻

：隐藏层到输出层的权重矩阵，负责把隐藏状态映射到输出维度

、：分别是隐藏层和输出层的偏置项，用于调整输出基线

二、LSTM（长短期记忆网络）：RNN的“PLUS版”，解决“记不住”的问题

1.LSTM的设计启发

既然RNN记不住长序列，那我们可以设计一种“更聪明”的记忆机制，让它能选择性遗忘没用的信息、记住有用的信息，于是LSTM诞生了。LSTM是由Hochreiter & Schmidhuber在1997年提出的，核心就是解决RNN的梯度消失问题，让模型能记住长序列的信息。就像追剧时，我们能记住主角的核心目标，却会忘记前三集里路人甲的台词，这种“选择性记忆”的能力，正是LSTM的核心逻辑，它在RNN基础上增加了门控机制，能自主“记住”重要信息、“遗忘”无关信息，相当于给RNN的“记忆”加了“筛选器”。

2.LSTM的核心结构：3种门控结构

核心结构组成：

1. 新增细胞状态：负责存储长期记忆，梯度可以沿着细胞状态流畅传播，不会轻易消失

2. 候选细胞状态：相当于“临时记忆草稿”，存储当前输入的新信息，等待被筛选后写入长期记忆库

3. 三个门控（均用sigmoid激活，输出0~1之间的值，0表示“完全关闭”，1表示“完全打开”）：

遗忘门（）：决定“忘掉多少旧记忆”（筛选长期记忆库中的信息）
输入门（）：更新细胞状态，将当前输入的重要信息存入“长期记忆”
输出门（）：决定输出多少记忆（从长期记忆库中筛选信息，更新隐藏状态并输出）

3.LSTM的算法细节和数学公式

1. 遗忘门：判断上一时刻的细胞状态（长期记忆）中，哪些信息需要保留，哪些需要遗忘

公式：

2. 输入门：分两步处理新信息：先筛选当前输入的新信息，再生成候选记忆

公式：

3. 更新细胞状态：将旧的长期记忆和新的候选记忆结合，得到当前时刻的长期记忆

公式：

4. 输出门：从当前的长期记忆中，筛选出对当前任务有用的信息，更新隐藏状态，并输出结果

公式：

三、BiLSTM（双向长短期记忆网络）：LSTM的“加强版”，兼顾上下文

1.BiLSTM的设计启发

LSTM虽然解决了长序列记忆问题，但它有一个局限：只能 “从左到右” 处理序列（或者从右到左），无法同时利用“前文”和“后文”的信息。而我们人类理解语言时，很多时候需要结合上下文才能判断语义。简单来说，LSTM是单向记忆，BiLSTM是双向记忆，它能同时从左到右和从右到左处理序列，捕捉更全面的上下文信息。