当使用Tensorflows Object Detection API训练对象检测DNN时,它的可视化平台Tensorboard将绘制一个名为regularization_loss_1的标量

这是什么?我知道什么是正则化(使网络能够很好地通过各种方法(如辍学)进行概括),但我不清楚这种显示的损失可能是什么。

谢谢!

最佳答案

TL; DR:这只是正则化函数所产生的额外损失。将其添加到网络的损失中,并优化两者的总和。

在正确声明状态时,可以使用正则化方法来帮助优化方法更好地泛化。
一种获得此方法的方法是在损失函数中添加正则项。该术语是通用函数,其修改“全局”损耗(例如,网络损耗和正则化损耗之和),以便在所需方向上驱动优化算法。

举例来说,无论出于何种原因,我都希望鼓励权重尽可能接近零的优化解决方案。因此,一种方法是将网络权重的函数(例如,权重的所有绝对值的按比例缩小的总和)添加到网络产生的损耗中。由于优化算法使全局损失最小化,因此我的正则化项(当权重远非零时较高)将把优化推向权重接近零的解。

关于tensorflow - 什么是 tensorflow 的正则化损失?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/48443886/

10-12 23:15