Multihead-Attention icon indicating copy to clipboard operation
Multihead-Attention copied to clipboard

请问attention1和attention2分别代表什么类型的注意力机制?

Open GYJGYJGYJ opened this issue 5 years ago • 1 comments

GYJGYJGYJ avatar Dec 24 '19 14:12 GYJGYJGYJ

你好,可以参考https://github.com/philipperemy/keras-attention-mechanism,有很详细的说明,本质就是一种简单的自注意力机制。

renjunxiang avatar Dec 25 '19 07:12 renjunxiang