Magic-NLPer
Magic-NLPer copied to clipboard
关于transformer模型的MultiHeadAttention函数
你好,在transformer的MultiHeadAttention函数中定义了self.wq、self.wk、self.wv但是在forward里仅用了self.wq来对q、k、v进行线性变换。
@CK-IMUT-501 笔误,写错了,肯定是各自用各自的wq,wk,wv,谢谢提醒
@CK-IMUT-501 笔误,写错了,肯定是各自用各自的wq,wk,wv,谢谢提醒
谢谢大佬的博客,非常受用。