attention icon indicating copy to clipboard operation
attention copied to clipboard

Published 20 hours ago • verified publisher icon bojone

K，Q，V映射

Open Vipning opened this issue 5 years ago • 0 comments

我想问一下多头attention那里，通过一次线性映射产生K,Q,V，paper中说要8次不同的映射。代码实现时，是因为，8次不同的映射可以一次完成，只要权重参数的数量已经相当于8次映射的数量了么？

Vipning avatar Jun 03 '19 07:06 Vipning