好吧，首先，嗨，
其次是凌晨3点，我保证在花了3个工作日之后，我会被炸透，因为我了解RNN和RTRL，但此时我的微积分大脑已经远离了我。
基本上我处于需要计算此值的阶段：
进一步来说：
我使用了许多网站和教科书（该主题的相关资料为0），但这是我主要资料的其余部分willamette.edu
我遇到的问题是如何以编程方式（Java）部分区分
Yk朝Wij方向
我无法解决这个问题。
注意：我确实自信地理解RNN和RTRL的工作方式。
最佳答案
您不会“以编程方式（Java）进行部分区分”，而是进行分析，并实现简单的解决方案。所有这些操作在任何与神经网络有关的书中都有描述。
特别是具有d y_k(t)/d w_ij。 y_k(t)是w_ij的函数，假设（为简单起见）假设这是一层网络，则y_k(t)的形式为y_k(t) = f( sum w_ij x_j(t) )（我将偏差表示为神经元）。因此，计算偏导数会导致f'( sum w_ij x_j(t) ) * x_j(t)
在使用RTRL之前，您应该首先了解整个时间的简单反向传播，这需要首先了解简单的backpropagation。然后，您可以进入RTRL-我建议遵循tutorial。
关于java - 计算偏导数用于递归神经网络的RTRL训练，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/18819220/