Tensorflow的AdamOptimzer实现没有像ProximalAdamOptimizer这样的正则化参数,例如l2_regularization_strength,是否有必要在AdamOptimzer中添加l2范数?

最佳答案

Tensorflows Adam的实现就是这样:Adam的实现,正是本文中如何定义和测试它的方式。

如果您想使用具有L2正则化功能的Adam来解决问题,只需在具有一定正则强度的情况下向损失中添加一个L2正则项,您就可以选择自己。

我不能告诉您这是否必要或有帮助,或者要使用什么正则化和正则化强度,因为这在很大程度上取决于问题,而且是主观的。

关于tensorflow - 为什么Tensorflow的AdamOptimizer的实现不支持L2规范化,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/50045039/

10-12 22:12