Tensorflow的AdamOptimzer实现没有像ProximalAdamOptimizer这样的正则化参数,例如l2_regularization_strength
,是否有必要在AdamOptimzer中添加l2范数?
最佳答案
Tensorflows Adam的实现就是这样:Adam的实现,正是本文中如何定义和测试它的方式。
如果您想使用具有L2正则化功能的Adam来解决问题,只需在具有一定正则强度的情况下向损失中添加一个L2正则项,您就可以选择自己。
我不能告诉您这是否必要或有帮助,或者要使用什么正则化和正则化强度,因为这在很大程度上取决于问题,而且是主观的。
关于tensorflow - 为什么Tensorflow的AdamOptimizer的实现不支持L2规范化,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/50045039/