我正在运行云 ML 引擎作业,我的张量板图显示隐藏层的零值比例随着步数的增加稳步增加到 1。这个情节应该如何解释?我相信这是一件好事,因为更多的零值表明该模型对其所做的预测越来越“确定”。
最佳答案
这通常意味着您的正则化技术和/或激活函数强制激活为零。您尚未分享模型的详细信息,但这在使用 dropout 时很常见,尤其是使用 relu 激活函数时。
具有大量零激活的模型倾向于更好地泛化,因此提供更好的准确性。
如果你想了解更多细节,这里有一个 JMLR paper on dropout 。
我必须注意,激活值为零有时是不好的,至少对于 ReLU 激活函数是这样。基本上,它们可以不可逆转地“死亡”。因此,如果您看到模型质量不佳,请当心。更多信息 here 。
关于tensorflow - Tensorboard 的零值分数应该如何解释?,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45840665/