LSTM的工作原理
一、循环神经网络
1、RNN顾名思义，是包含循环的网络。RNN环路展开后，实际上是同一网络复制的多个副本，顺序连接进行信息传输 。
2、RNN主要有三个特征：
（1）结合内部状态（A）来处理序列；
（2）展示一个时间序列的时间动态行为；
（3）处理连续的、相关联的任务。
与传统的神经网络相比，RNN的主要区别在于它保持了一种内部状态，输出由当前输入和前一时刻的内部状态共同决定。
3、从循环展开之后的表示来看，RNN的信息只能传递给相邻的后继者。当相关输入与期望输出间隔不太长的时候，常规的RNN可以正常应用。而当这个间隔很长的时候，网络训练就会产生梯度消失或者梯度爆炸的问题，使得RNN的长时记忆失效。
4、因此，常规的RNN很难将距离较远的输入和输出关联起来，这个问题被称为长期依赖问题。
二、长短期记忆网络
（1）LSTM网络就是为了解决长期依赖问题产生的。
（2）与常规RNN相比，LSTM网络用cell取代了内部存储。它将数据维护在这个cell中，被称为cell state。 cell state会决定哪些状态应该被留下来，哪些状态应该被遗忘。
（3）常规RNN中的重复单元只包含单层，例如一个tanh层。
LSTM网络中的重复单元包含四个交互层。它们以特别的方式进行交互。
三、LSTM核心思想
LSTM的关键在于细胞的整个状态（绿色的图表示的是一个cell）和穿过细胞的那条水平线。
细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。若只有上面的那条水平线是没办法实现添加或者删除信息的。而是通过一种叫做门（gates）的结构来实现的。门可以实现选择性地让信息通过，主要是通过一个sigmoid的神经层和一个逐点相乘的操作来实现的。
sigmoid层输出（是一个向量）的每隔元素都是一个在0和1之间的实数，表示让对应信息通过的权重（或占比）。比如0表示“不让任何信息通过”，1表示“让所有信息通过”。
LSTM通过三个门：输入门、遗忘门、输出门来实现信息的保护和控制。
1、遗忘门
在LSTM中的第一步是遗忘门决定会从细胞状态中丢弃什么信息。比如在语言模型的例子中，当我们看到新的主语，我们希望忘记旧的主语。
2、输入门
下一步输入门是决定让多少新的信息加入到cell状态中来。比如在语言模型的例子中，就是丢弃旧代词的性别信息并增加新的信息的地方。
3、输出门
最终，我们需要确定输出什么值。这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。