python-2.7 - 在softmax层之前提取输出，然后手动计算softmax会得出不同的结果

我有一个训练有素的模型，可以将rgb值分类为1000个类别。

#Model architecture
model = Sequential()
model.add(Dense(512,input_shape=(3,),activation="relu"))
model.add(BatchNormalization())
model.add(Dense(512,activation="relu"))
model.add(BatchNormalization())
model.add(Dense(1000,activation="relu"))
model.add(Dense(1000,activation="softmax"))

我希望能够在softmax层之前提取输出，以便可以对模型中类别的不同样本进行分析。我想为每个样本执行softmax，并使用名为getinfo（）的函数进行分析。


模型
最初，我将X_train数据输入到model.predict中，以获得每个输入的1000个概率的向量。我在此数组上执行getinfo（）以获得所需的结果。
流行音乐1
然后，我使用model.pop（）删除softmax层。我对弹出的模型有了新的预测，并执行scipy.special.softmax。但是，getinfo（）在此数组上产生完全不同的结果。
流行音乐2
我编写了自己的softmax函数来验证第二个结果，并且收到与Pop1几乎相同的答案。
流行音乐3
但是，当我简单地在没有softmax函数的model.pop（）输出上计算getinfo（）时，得到的结果与初始Model相同。

data = np.loadtxt("allData.csv",delimiter=",")
model = load_model("model.h5")

def getinfo(data):
    objects = scipy.stats.entropy(np.mean(data, axis=0), base=2)
    print(('objects_mean',objects))
    colours_entropy = []
    for i in data:
        e = scipy.stats.entropy(i, base=2)
        colours_entropy.append(e)
    colours = np.mean(np.array(colours_entropy))
    print(('colours_mean',colours))
    info = objects - colours
    print(('objects-colours',info))
    return info

def softmax_max(data):
    # calculate softmax whilst subtracting the max values (axis=1)
    sm = []
    count = 0
    for row in data:
        max = np.argmax(row)
        e = np.exp(row-data[count,max])
        s = np.sum(e)
        sm.append(e/s)
    sm = np.asarray(sm)
    return sm

#model
preds = model.predict(X_train)
getinfo(preds)

#pop1
model.pop()
preds1 = model.predict(X_train)
sm1 = scipy.special.softmax(preds1,axis=1)
getinfo(sm1)

#pop2
sm2 = softmax_max(preds1)
getinfo(sm2)

#pop3
getinfo(preds1)

我希望从Model，Pop1和Pop2获得相同的输出，但对Pop3会有不同的答案，因为我在这里没有计算softmax。我想知道问题是否在于在model.predict之后计算softmax吗？以及我是否在Model和Pop3中获得相同的结果，因为softmax将值限制在0-1之间，所以出于getinfo（）函数的目的，该结果在数学上是等效的吗？

如果是这种情况，那么如何在model.predict之前执行softmax？

我已经绕了这个圈，所以我们将不胜感激。如果有任何不清楚的地方，请告诉我。谢谢！

最佳答案

model.pop()不会立即生效。您需要再次运行model.compile()以重新编译不包含最后一层的新模型。

如果没有重新编译，则实际上是在完全相同的模型上连续两次运行model.predict()，这说明了为什么Model和Pop3给出相同的结果。 Pop1和Pop2提供奇怪的结果，因为它们正在计算softmax的softmax。

此外，您的模型没有softmax作为单独的图层，因此pop会删除整个最后的Dense图层。要解决此问题，请将softmax添加为单独的图层，如下所示：

model.add(Dense(1000))           # softmax removed from this layer...
model.add(Activation('softmax')) # ...and added to its own layer

关于python-2.7 - 在softmax层之前提取输出，然后手动计算softmax会得出不同的结果，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/58081650/