一、GRU

序列模型(4)----门控循环单元(GRU)-LMLPHP

其中, r表示重置门,z表示更新门。

  • 重置门决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门)

当r趋于0的时候,前一个时刻的状态信息h会被忘掉,隐藏状态h^t会被重置为当前输入的信息。

  • 更新门决定是否要将隐藏状态更新为新的状态h^t(作用相当于 LSTM 中的输出门) 。

序列模型(4)----门控循环单元(GRU)-LMLPHP

序列模型(4)----门控循环单元(GRU)-LMLPHP

序列模型(4)----门控循环单元(GRU)-LMLPHP

二、GRU的优点:解决梯度消失的问题

05-15 17:45