CPM-Bee icon indicating copy to clipboard operation
CPM-Bee copied to clipboard

能否解释一下EmbeddingExt中的旋转位置编码的作用是什么?

Open junphine opened this issue 2 years ago • 0 comments

我理解旋转位置编码应该在取得query和key的向量之后计算,这里为什么是在之前计算? input_sub具体指的是什么?作为旋转位置编码的x_pos参数传入,发现他大部分场景下始终是0向量,所以旋转位置编码没有起到作用

junphine avatar Sep 24 '23 03:09 junphine