目录
背影
摘要
LSTM的基本定义
LSTM实现的步骤
BILSTM神经网络
基于双向长短期神经网络BILSTM的分类预测,基于GRU神经网络的分类预测
完整代码:基于双向长短期神经网络BILSTM的分类预测,基于GRU神经网络的分类预测(代码完整,数据齐全)资源-CSDN文库 https://download.csdn.net/download/abc991835105/89114990
效果图
结果分析
展望
参考论文
背影
基于双向长短期神经网络BILSTM的分类预测,基于GRU神经网络的分类预测,长短期神经网络是一种改进党的RNN神经网络,克服了梯度爆炸的问
摘要
LSTM原理,基于双向长短期神经网络BILSTM的分类预测,基于GRU神经网络的分类预测
LSTM的基本定义
LSTM是一种含有LSTM区块(blocks)或其他的一种类神经网络,文献或其他资料中LSTM区块可能被描述成智能网络单元,因为它可以记忆不定时间长度的数值,区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。
图1底下是四个S函数单元,最左边函数依情况可能成为区块的input,右边三个会经过gate决定input是否能传入区块,左边第二个为input gate,如果这里产出近似于零,将把这里的值挡住,不会进到下一层。左边第三个是forget gate,当这产生值近似于零,将把区块里记住的值忘掉。第四个也就是最右边的input为output gate,他可以决定在区块记忆中的input是否能输出 。
图1 LSTM模型
图1 LSTM模型
LSTM有很多个版本,其中一个重要的版本是GRU(Gated Recurrent Unit),根据谷歌的测试表明,LSTM中最重要的是Forget gate,其次是Input gate,最次是Output gate
训练方法
为了最小化训练误差,梯度下降法(Gradient descent)如:应用时序性倒传递算法,可用来依据错误修改每次的权重。梯度下降法在递回神经网络(RNN)中主要的问题初次在1991年发现,就是误差梯度随着事件间的时间长度成指数般的消失。当设置了LSTM 区块时,误差也随着倒回计算,从output影响回input阶段的每一个gate,直到这个数值被过滤掉。因此正常的倒传递类神经是一个有效训练LSTM区块记住长时间数值的方法。