python - Keras/Tensorflow : Wierd dropout behaviour

我想看看 dropout 是如何工作的，所以我进入了 layer.core
模块并将 dropout 调用从 in_train_phase 更改为
在_测试_阶段。

我不确定我的改变是否对奇怪的辍学行为负责，
所以请耐心等待。

现在考虑到这些变化，下面的代码片段:

from keras.models import Model
from keras.layers import Dropout, Input
import numpy as np
import tensorflow as tf
from keras import initializers

x=np.ones((2,2,4))
# x[:,1,:] = 1

print(x)

from keras.layers import Dense

input = Input(name='atom_inputs', shape=(2, 4))

x1 = Dense(4, activation='linear',
           kernel_initializer=initializers.Ones(),
           bias_initializer='zeros')(input)
x1 = Dropout(0.5, noise_shape=(tf.shape(input)[0], 1, 4))(x1)


fmodel = Model(input, x1)
fmodel.compile(optimizer='sgd', loss='mse')
print(fmodel.predict(x))

将根据辍学率产生不同的预测。

例如。:

Dropout(0.2)
[[[5. 5. 5. 5.]
  [5. 5. 5. 5.]]

 [[5. 0. 5. 0.]
  [5. 0. 5. 0.]]]

Dropout(0.5)
[[[0. 0. 8. 8.]
  [0. 0. 8. 8.]]

 [[8. 0. 8. 8.]
  [8. 0. 8. 8.]]]

我哪里错了？ dropout 定义在密集输出层上，
所以它应该只影响关闭和打开的神经元，而不是它们的
各自的值。正确的？

最佳答案

发生这种情况是因为在使用 Dropout 时，您不仅可以打开和关闭不同的神经元，还可以缩放数据，以补偿下一层由于部分神经元变黑而可能接收到较少信号的事实。它被称为倒置辍学，您可以阅读有关它的内容 here 。

所以基本上你的网络的每个输出都被一个 1 / (1 - p) 因子重新缩放以进行这种补偿。这就是您的输出不同的原因。

对于 Dropout(0.2) 补偿是 1 / (1 - 0.2) = 1.25 ，这导致 5 = 4 * 1.25 ，对于 Dropout(0.5) 补偿是 1 / (1 - 0.5) = 2 ，这导致 8 = 4 * 2 。

关于python - Keras/Tensorflow : Wierd dropout behaviour，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/48212629/