models icon indicating copy to clipboard operation
models copied to clipboard

关于DIN模型中attention部分实现问题

Open tz28 opened this issue 5 years ago • 4 comments

论文attention中的out product是外积的意思吗? 论文中attention是将 [hist, target_expand, out product(hist,target_expand)]做了个拼接。而paddle中代码实现却是concat = fluid.layers.concat( [hist, target_expand, hist - target_expand, hist * target_expand], axis=2) 请问out product(hist,target_expand)和hist - target_expand, hist * target_expand之间存在什么关联?谢谢

tz28 avatar Aug 21 '19 12:08 tz28

请教 NLP 模型同事后回复此 issue。

Shixiaowei02 avatar Aug 22 '19 03:08 Shixiaowei02

请教 NLP 模型同事后回复此 issue。

好的,谢谢,期待回复。

tz28 avatar Aug 22 '19 10:08 tz28

这里权重只是提供一个思路,具体怎么实现都可以,论文中的外积没有代码这样实验更简单,效果应该差不多。

houkai avatar Dec 27 '19 07:12 houkai

外积以后维度都对不上了,论文写错了吧?

liduo1997 avatar Nov 26 '20 02:11 liduo1997