这是一期 关于LSTM科普介绍的Blog。下文所有内容均来自Bilibili视频,是博主整理的视频文案,同时对于 便于理解的图,也进行了截图上传。整理不易,请尊重原创视频,故 出处均已在文中指明~ 另外,也求个点赞,几分钟的视频,一点一点打字做记录,截图保存,整了有几个小时。谢谢大家。
语言理解(1)
我们知道 RNN 有一定的记忆能力,不幸的是,它只能保留短期记忆,在各类任务上表现并不好。那该怎么办呢?
人们将目标投向了自己,人类的记忆是有取舍的,我们不会记住每时每刻发生的所有事,会有选择地留下【重要的】,丢掉【不重要的】。参考这种记忆机制,人们改造了小盒子,并找到了门这种机制,门是用来决定信息如何保留的小开关,它的数值在【0,1】之间,1是完全保留,0是完全舍弃。
新的小盒子上有三个门,其中 遗忘门
决定了小盒子里要保留多少原有信息,也就是丢掉哪些不重要的信息;输入门决定了当前网络信息有多少要被保存到小盒子里,也就是记住哪些新东西;输出门决定了多大程度地输出小盒子中的信息,经过改造的小盒子,既能通过输入门 对当前网络 状态有所了解,又能通过遗忘门 留下过往的重要信息&