LSTM网络结构

1.介绍

假设词向量长度为128，隐含层神经元个数为256。LSTM中引入3个门，即输入门、遗忘门、输出门；及其他组件：候选记忆细胞、记忆细胞。

2.时间t时候：各个组件（3个门+候选记忆细胞、记忆细胞）

如上图所示，对于每个组件有：

(1)

输入门：It​
It​=σ(Xt​WihI​+Ht−1​WhhI​+bihI​)

遗忘门：Ft​
Ft​=σ(Xt​WihF​+Ht−1​WhhF​+bihF​)

输出门：Ot​
Ot​=σ(Xt​WihO​+Ht−1​WhhO​+bihO​)

候选记忆细胞：Ct​​
Ct​​=tanh(Xt​WihCt​​​+Ht−1​WihCt​​​+bihCt​​​)
其中，Xt​为长度为128的向量；Wih​为128x256的矩阵；Whh​为256x256的矩阵；bih​为长度为256的向量；以上每个组件的时间t结果都是长度为256的向量（输入都是Xt​，最后都是加上bih​后，经过激活函数）。

(2)

记忆细胞：Ct​
Ct​=Ft​⊙Ct−1​+It​⊙Ct​​
其中，⊙是元素乘法符号，即左边2向量的每个元素相乘，右边2向量的每个元素相乘，都是256的向量，然后结果相加为新的256向量（时间t时候，Ct​结果是长度为256的向量）。记忆细胞由：遗忘门⊙上一个记忆细胞、输入门⊙候选记忆细胞决定。

通过输出门控制从记忆细胞到隐藏状态的信息流动：
Ht​=Ot​⊙tanhCt​
隐含层由：输出门⊙ tanh 记忆细胞决定。

3.补充：多层的lstm及pytorch中的lstm

（1）多层的lstm：
以上为时间t时候的计算流程，实际上，LSTM的输出为所有时间步的结果h0​,h1​,...,ht​，并且上面显示的是一个完整的lstm的过程的时间步t步骤，如果走完所有t则是一层的lstm。而多层的lstm指的是，假设是2层：在每个时间步t时候，第1层的输出结果都是作为输入进入第2层的lstm（即上图的虚线部分是第1层的输出结果，注意区别：上一个时间步t-1的情况），而网络最终的输出为第2层lstm的输出。
（2）在pytorch中的lstm：
nn.LSTM(词向量长度, 隐含层神经元个数, dropout（发生在ht​处，并且最后一个时间t不发生）, num_layers（lstm的层数）,batch_first=True（批量放在第1维度，这样输出的数据批量在第一维度）)，并且以上的四个组件（输入门、遗忘门、输出门和候选记忆细胞）的参数等，如：Wih​=128x256的矩阵被统一为一个，但是长度为原来的四倍，即Wih​=128x1024=128x[256x4]。

参考
http://zh.gluon.ai/chapter_recurrent-neural-networks/lstm.html
https://discuss.pytorch.org/t/num-layers-in-nn-lstm/11664/3