RAREMed icon indicating copy to clipboard operation
RAREMed copied to clipboard

DDI差距明显

Open 815382636 opened this issue 1 year ago • 4 comments

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? image

815382636 avatar Aug 01 '24 06:08 815382636

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? !

感谢反馈。建议直接加大DDI Loss的权重。

zzhUSTC2016 avatar Aug 01 '24 07:08 zzhUSTC2016

我们ablation study里有相关讨论

zzhUSTC2016 avatar Aug 01 '24 07:08 zzhUSTC2016

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? image

你这个结果一看就有问题,你需要把你的 data_test 修正,默认代码中的 data_test 是取的 data 的前 1w 行,所以明显是过拟合: image

shukhg avatar Aug 02 '24 00:08 shukhg

你好,按你的readme中流程进行复现,其他指标都可以达到甚至超越论文中的效果,但DDI有明显差距,需要怎么调整? image

你这个结果一看就有问题,你需要把你的 data_test 修正,默认代码中的 data_test 是取的 data 的前 1w 行,所以明显是过拟合:

感谢您的提醒,这行应该是调试的时候忘了删了,我来修正一下,并评估一下这行代码的影响。这个代码应该是后期整理代码的时候加上去的,对论文的实验结论不构成影响。

zzhUSTC2016 avatar Aug 02 '24 02:08 zzhUSTC2016