models
models copied to clipboard
关于DIN模型中attention部分实现问题
论文attention中的out product是外积的意思吗? 论文中attention是将 [hist, target_expand, out product(hist,target_expand)]做了个拼接。而paddle中代码实现却是concat = fluid.layers.concat( [hist, target_expand, hist - target_expand, hist * target_expand], axis=2) 请问out product(hist,target_expand)和hist - target_expand, hist * target_expand之间存在什么关联?谢谢
请教 NLP 模型同事后回复此 issue。
请教 NLP 模型同事后回复此 issue。
好的,谢谢,期待回复。
这里权重只是提供一个思路,具体怎么实现都可以,论文中的外积没有代码这样实验更简单,效果应该差不多。
外积以后维度都对不上了,论文写错了吧?