我注意到在Keras中weight_regularizer不再可用,取而代之的是 Activity 和内核正则化器。
我想知道:
最佳答案
Activity 调节器是网络输出的函数,通常用于调节隐藏的单位,而权重调节器(顾名思义)对权重起作用,使权重衰减。基本上,您可以将正则化损失表示为输出(activity_regularizer
)或权重(weight_regularizer
)的函数。
新的kernel_regularizer
替换了weight_regularizer
-尽管从文档中还不清楚。
根据kernel_regularizer
的定义:
和activity_regularizer
:
重要编辑:请注意,activity_regularizer中存在一个错误,该错误仅在Keras 2.1.4版中(至少在Tensorflow后端中)被修复。实际上,在较旧的版本中, Activity 调整器功能将应用于图层的输入,而不是应用于输出(按预期的方式实际激活该图层)。因此,请注意,如果您使用的是Keras的旧版本(在2.1.4之前),则 Activity 正则化可能无法按预期进行。
您可以在GitHub上看到提交
Five months ago François Chollet provided a fix to the activity regularizer, that was then included in Keras 2.1.4
关于machine-learning - Keras:内核和事件正则化程序之间的区别,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44495698/