我注意到在Keras中weight_regularizer不再可用,取而代之的是 Activity 和内核正则化器。
我想知道:

  • 内核和 Activity 正则器之间的主要区别是什么?
  • 我可以用activity_regularizer代替weight_regularizer吗?
  • 最佳答案

    Activity 调节器是网络输出的函数,通常用于调节隐藏的单位,而权重调节器(顾名思义)对权重起作用,使权重衰减。基本上,您可以将正则化损失表示为输出(activity_regularizer)或权重(weight_regularizer)的函数。

    新的kernel_regularizer替换了weight_regularizer-尽管从文档中还不清楚。

    根据kernel_regularizer的定义:



    activity_regularizer:



    重要编辑:请注意,activity_regularizer中存在一个错误,该错误仅在Keras 2.1.4版中(至少在Tensorflow后端中)被修复。实际上,在较旧的版本中, Activity 调整器功能将应用于图层的输入,而不是应用于输出(按预期的方式实际激活该图层)。因此,请注意,如果您使用的是Keras的旧版本(在2.1.4之前),则 Activity 正则化可能无法按预期进行。

    您可以在GitHub上看到提交

    Five months ago François Chollet provided a fix to the activity regularizer, that was then included in Keras 2.1.4

    关于machine-learning - Keras:内核和事件正则化程序之间的区别,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/44495698/

    10-11 22:48
    查看更多