attention icon indicating copy to clipboard operation
attention copied to clipboard

tf中position

Open lrx1213 opened this issue 5 years ago • 4 comments

position_ij = tf.concat([tf.cos(position_ij), tf.sin(position_ij)], 1)

论文中sin和cos是交叉的,偶数位置为sin,奇数位置为cos,如果按照你这么运算,前半部分是cos,后半部分是sin,是不是与论文不符,希望帮忙解惑,谢谢

lrx1213 avatar Dec 13 '18 02:12 lrx1213

为什么要与原文相符?我这样就不合理了吗?

bojone avatar Dec 13 '18 13:12 bojone

https://github.com/bojone/attention/issues/2

bojone avatar Dec 13 '18 13:12 bojone

为什么要与原文相符?我这样就不合理了吗? 没有这个意思,我只是在学习你的代码的时候发现与原文不符,就是确认一下,并没有说不合理的意思,当然,我觉得这样应该也可以

lrx1213 avatar Dec 14 '18 06:12 lrx1213

我的意思也就是说合理就行,不一定拘泥于形式。何况我觉得,我这种形式不只是合理,而是完全等价于原来的形式。在https://github.com/bojone/attention/issues/2 已经做了解释。

bojone avatar Dec 14 '18 06:12 bojone