attention icon indicating copy to clipboard operation
attention copied to clipboard

Published 20 hours ago • verified publisher icon bojone

请问Q,K,V分别是从哪里输入的呢？

Open Ironeie opened this issue 5 years ago • 2 comments

拜读了您的《Attention is All You Need》浅读，对Q,K,V这三个矩阵的来源仍然不理解，我的一种理解是Q是attention layer的输入，K和V是需要训练的两个权重矩阵，这样理解对吗？

Ironeie avatar May 24 '19 02:05 Ironeie

你好，我不是作者，不知道为什么我的微信能看到这份邮件，不过我的理解是，k,v不是参数矩阵，它们同q一样，都是来源于输入序列

Yblossom avatar May 24 '19 02:05 Yblossom

自注意力中Q=K=V

cloudXia777 avatar Mar 21 '20 16:03 cloudXia777