我正在运行云 ML 引擎作业，我的张量板图显示隐藏层的零值比例随着步数的增加稳步增加到 1。这个情节应该如何解释？我相信这是一件好事，因为更多的零值表明该模型对其所做的预测越来越“确定”。
最佳答案
这通常意味着您的正则化技术和/或激活函数强制激活为零。您尚未分享模型的详细信息，但这在使用 dropout 时很常见，尤其是使用 relu 激活函数时。
具有大量零激活的模型倾向于更好地泛化，因此提供更好的准确性。
如果你想了解更多细节，这里有一个 JMLR paper on dropout 。
我必须注意，激活值为零有时是不好的，至少对于 ReLU 激活函数是这样。基本上，它们可以不可逆转地“死亡”。因此，如果您看到模型质量不佳，请当心。更多信息 here 。
关于tensorflow - Tensorboard 的零值分数应该如何解释？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/45840665/