我正在使用Pybrain训练循环神经网络。但是，权重的平均值不断攀升，经过几次迭代后，火车和测试的准确性降低了。现在，火车数据的最高性能约为55％，而测试数据的最高性能约为50％。
我认为，由于重量大，rnn可能会遇到一些训练问题。我该如何解决？先感谢您。
最佳答案
限制网络参数的通常方法是使用受约束的误差函数，这会以某种方式惩罚参数的绝对大小。这是在“权重衰减”中完成的，其中您将权重||w||的范数添加到平方和误差中。通常，这是欧几里得范数，但有时也称为1-范数，在这种情况下，它称为“套索”。请注意，权重衰减也称为岭回归或Tikhonov正则化。
在PyBrain中，根据文档中的this page，存在权重衰减的套索版本，可以通过参数wDecay对其进行参数设置。
关于machine-learning - 为什么rnn的平均重量不断攀升？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/26331357/