首先介绍Attention机制:

转自:http://blog.csdn.net/malefactor/article/details/50550211

Attention Mechanism-LMLPHP

上面讲的是Soft Attention Model,所谓Soft,意思是在求注意力分配概率分布的时候,对于输入句子X中任意一个单词都给出个概率,是个概率分布。那么相对Soft,就有相应的Hard Attention Model。既然Soft是给每个单词都赋予一个单词对齐概率,那么如果不这样做,直接从输入句子里面找到某个特定的单词,然后把目标句子单词和这个单词对齐,而其它输入句子中的单词硬性地认为对齐概率为0,这就是Hard Attention Model的思想。

Attention的变体:

Attention Mechanism-LMLPHP

Attention在图像中的应用:

Attention Mechanism-LMLPHP

05-22 11:30