我试图弄清楚如何反向传播GRU循环网络,但是我无法准确地理解GRU架构。

下图显示了具有3个神经网络的GRU单元,该单元接收串联的先前隐藏状态和输入向量作为其输入。

GRU example

但是,我参考的该图像用于反向传播,显示了输入被转发到每个门的W和U,被相加,然后应用了适当的激活函数。

GRU Backpropagation

Wikipedia上显示的更新门方程如下所示


  zt = sigmoid((W(z)xt + U(z)ht-1))


有人可以向我解释W和U代表什么吗?

编辑:

在我发现的大多数资源中,W和U通常被称为“权重”,所以我最好的猜测是W和U代表它们自己的神经网络,但这与我之前发现的图像相矛盾。

如果有人可以举一个例子说明W和U在一个简单的GRU中如何工作,那将很有帮助。

图片来源:
https://cran.r-project.org/web/packages/rnn/vignettes/GRU_units.html
https://towardsdatascience.com/animated-rnn-lstm-and-gru-ef124d06cf45

最佳答案

WU是在训练过程中获知其值的矩阵(也称为神经网络权重)。矩阵W将向量xt乘以一个新向量。类似地,矩阵U将向量ht-1乘以一个新向量。将这两个新向量相加,然后将结果的每个分量传递给sigmoid函数。

10-06 14:55