python - Keras 中的 Bi-LSTM 注意力模型

我正在尝试使用词嵌入使用 Bi-LSTM 制作注意力模型。我遇到了 How to add an attention mechanism in keras? 、 https://github.com/philipperemy/keras-attention-mechanism/blob/master/attention_lstm.py 和 https://github.com/keras-team/keras/issues/4962 。

但是，我对 Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification 的实现感到困惑。所以，

_input = Input(shape=[max_length], dtype='int32')

# get the embedding layer
embedded = Embedding(
        input_dim=30000,
        output_dim=300,
        input_length=100,
        trainable=False,
        mask_zero=False
    )(_input)

activations = Bidirectional(LSTM(20, return_sequences=True))(embedded)

# compute importance for each step
attention = Dense(1, activation='tanh')(activations)

我在这里很困惑，哪个方程与论文中的哪个方程有关。

attention = Flatten()(attention)
attention = Activation('softmax')(attention)

RepeatVector 会做什么？

attention = RepeatVector(20)(attention)
attention = Permute([2, 1])(attention)


sent_representation = merge([activations, attention], mode='mul')

现在，我再次不确定为什么这条线在这里。

sent_representation = Lambda(lambda xin: K.sum(xin, axis=-2), output_shape=(units,))(sent_representation)

由于我有两个类(class)，因此最终的 softmax 为:

probabilities = Dense(2, activation='softmax')(sent_representation)

最佳答案

attention = Flatten()(attention)

将您的注意力权重张量转换为向量(如果您的序列大小为 max_length，则大小为 max_length)。

attention = Activation('softmax')(attention)

允许所有注意力权重在 0 和 1 之间，所有权重之和等于 1。

attention = RepeatVector(20)(attention)
attention = Permute([2, 1])(attention)


sent_representation = merge([activations, attention], mode='mul')

RepeatVector 将注意力权重向量(大小为 max_len)与隐藏状态的大小 (20) 重复，以便按元素乘以激活和隐藏状态。张量变量 激活 的大小为 max_len*20。

sent_representation = Lambda(lambda xin: K.sum(xin, axis=-2), output_shape=(units,))(sent_representation)

这个 Lambda 层将加权的隐藏状态向量相加，以获得将在最后使用的向量。

希望这有帮助!

关于python - Keras 中的 Bi-LSTM 注意力模型，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/52867069/