keras - 具有嵌入层的Keras LSTM自动编码器

我正在尝试在Keras中构建文本LSTM自动编码器。我想使用嵌入层，但是我不确定如何实现这一点。代码看起来像这样。

inputs = Input(shape=(timesteps, input_dim))
embedding_layer = Embedding(numfeats + 1,
                            EMBEDDING_DIM,
                            weights=[data_gen.get_embedding_matrix()],
                            input_length=maxlen,
                            trainable=False)

embedded_sequence = embedding_layer(inputs)
encoded = LSTM(num_units)(inputs)

decoded = RepeatVector(timesteps)(encoded)
decoded = LSTM(???, return_sequences=True)(decoded)

sequence_autoencoder = Model(inputs, decoded)

sequence_autoencoder.compile(loss='binary_crossentropy', optimizer='adam')

我不确定如何将输出解码为目标序列（显然是输入序列）。

最佳答案

由于嵌入层不可微分，因此无法在解码器中实现反向嵌入层。可能还有其他解决方法：


从嵌入层的输出到尺寸相似的层构造自动编码器。然后使用最近的邻居或其他算法从那里生成单词序列。
构造一个不对称的自动编码器，使用时间分布层和密集层来减小LSTM输出的尺寸。


希望这会有所帮助。