neural-network - 直通估算器(STE)的概念

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。












想要改善这个问题吗？更新问题，以便将其作为on-topic用于堆栈溢出。

3年前关闭。



Improve this question




我在许多与神经网络相关的论文中都直接看到了估算器(STE)，例如this和this。但是我不明白这个概念。我想知道是否有人可以解释STE或让我引用简单的资源？

最佳答案

直通估算器是一种估算神经网络中阈值操作的梯度的方法。该阈值可以像下面的函数一样简单，



如我们所见，此阈值函数的导数将为0，并且在反向传播期间，网络将不会学习任何内容，因为它会获得0的梯度并且权重不会更新。

直通估算器的概念是，您将传入的梯度设置为等于其传出梯度的阈值函数，而无需考虑阈值函数本身的导数。在您引用的this论文中，这在结果(图2)中显示出良好的性能。

关于neural-network - 直通估算器(STE)的概念，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/38361314/