我正在尝试使用自动编码器和 Keras 检测欺诈。我已将以下代码编写为 Notebook :
import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
from sklearn.preprocessing import StandardScaler
from keras.layers import Input, Dense
from keras.models import Model
import matplotlib.pyplot as plt
data = pd.read_csv('../input/creditcard.csv')
data['normAmount'] = StandardScaler().fit_transform(data['Amount'].values.reshape(-1, 1))
data = data.drop(['Time','Amount'],axis=1)
data = data[data.Class != 1]
X = data.loc[:, data.columns != 'Class']
encodingDim = 7
inputShape = X.shape[1]
inputData = Input(shape=(inputShape,))
X = X.as_matrix()
encoded = Dense(encodingDim, activation='relu')(inputData)
decoded = Dense(inputShape, activation='sigmoid')(encoded)
autoencoder = Model(inputData, decoded)
encoder = Model(inputData, encoded)
encodedInput = Input(shape=(encodingDim,))
decoderLayer = autoencoder.layers[-1]
decoder = Model(encodedInput, decoderLayer(encodedInput))
autoencoder.summary()
autoencoder.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
history = autoencoder.fit(X, X,
epochs=10,
batch_size=256,
validation_split=0.33)
print(history.history.keys())
# summarize history for accuracy
plt.plot(history.history['acc'])
plt.plot(history.history['val_acc'])
plt.title('model accuracy')
plt.ylabel('accuracy')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
# summarize history for loss
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('model loss')
plt.ylabel('loss')
plt.xlabel('epoch')
plt.legend(['train', 'test'], loc='upper left')
plt.show()
我可能遗漏了一些东西,我的准确度停留在 0 并且我的测试损失低于我的火车损失。
任何洞察力都会被接受
最佳答案
自动编码器的准确性几乎没有意义,尤其是在欺诈检测算法上。我的意思是在回归任务上没有很好地定义准确性。例如,说 0.1 与 0.11 相同是否准确。对于 keras 算法,它不是。如果您想查看您的算法复制数据的效果,我建议您查看 MSE 或数据本身。许多自动编码器使用 MSE 作为它们的损失函数。
您应该监控的指标是良好示例的训练损失与欺诈示例的验证损失。在那里你可以很容易地看到你是否可以比欺诈样本更接近真实的例子,以及你的算法在实践中的表现如何。
我不会做的另一个设计选择是自动编码器中的 relu。 ReLU 与更深的模型配合得很好,因为它在对抗消失/爆炸梯度方面的简单性和有效性。然而,这两个问题在自动编码器中都是非因素,并且数据丢失在自动编码器中会造成伤害。我建议使用 tanh 作为中间激活函数。
关于python - Keras - 自动编码器精度为零,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/45545109/