attention
attention copied to clipboard
tf中position
position_ij = tf.concat([tf.cos(position_ij), tf.sin(position_ij)], 1)
论文中sin和cos是交叉的,偶数位置为sin,奇数位置为cos,如果按照你这么运算,前半部分是cos,后半部分是sin,是不是与论文不符,希望帮忙解惑,谢谢
为什么要与原文相符?我这样就不合理了吗?
https://github.com/bojone/attention/issues/2
为什么要与原文相符?我这样就不合理了吗? 没有这个意思,我只是在学习你的代码的时候发现与原文不符,就是确认一下,并没有说不合理的意思,当然,我觉得这样应该也可以
我的意思也就是说合理就行,不一定拘泥于形式。何况我觉得,我这种形式不只是合理,而是完全等价于原来的形式。在https://github.com/bojone/attention/issues/2 已经做了解释。