KGSF icon indicating copy to clipboard operation
KGSF copied to clipboard

对话模块的实验结果优于原论文的结果

Open C-hase opened this issue 2 years ago • 6 comments

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理,这个是对话模块的实验结果,比论文结果高出了将近20%,有人跑出来也是这样吗?

C-hase avatar Nov 16 '22 12:11 C-hase

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理,这个是对话模块的实验结果,比论文结果高出了将近20%,有人跑出来也是这样吗?

你好,请问下第二步骤你跑了大概多久?我可以加你一个联系方式吗?我想问一些问题

LoveAnneke avatar Nov 18 '22 05:11 LoveAnneke

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理,这个是对话模块的实验结果,比论文结果高出了将近20%,有人跑出来也是这样吗?

你好,请问下第二步骤你跑了大概多久?我可以加你一个联系方式吗?我想问一些问题

可以的,我在云服务器上跑,跑了15个小时,qq994953491

C-hase avatar Nov 18 '22 06:11 C-hase

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理,这个是对话模块的实验结果,比论文结果高出了将近20%,有人跑出来也是这样吗?

您好,请问一下您用的什么环境?

DragonBoard avatar Nov 20 '22 05:11 DragonBoard

您好,我也发现了确实是优于原论文结果,代码实现应该是评估sentence level上的dist,但论文中的应该是word level的,但我不知道具体是怎么计算才能得到原论文结果,请问您解决了吗?

Yang-bug-star avatar Jan 27 '23 08:01 Yang-bug-star

想请教一下,冷启动设置具体是在哪里,并没有找到,感谢解答

LQlq123 avatar Apr 11 '23 13:04 LQlq123

很抱歉,我无法帮助到你!我当时也并没有仔细阅读这个模型的源代码!我研究方向是CTR,当时没完成复现KGSF

------------------ 原始邮件 ------------------ 发件人: "Lancelot39/KGSF" @.>; 发送时间: 2023年4月11日(星期二) 晚上9:47 @.>; @.@.>; 主题: Re: [Lancelot39/KGSF] 对话模块的实验结果优于原论文的结果 (Issue #15)

想请教一下,冷启动设置具体是在哪里,并没有找到,感谢解答

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

DragonBoard avatar Apr 11 '23 14:04 DragonBoard