GANA-FewShotKGC icon indicating copy to clipboard operation
GANA-FewShotKGC copied to clipboard

关于论文代码和原文不符的问题,以及代码的结果问题

Open EchoJZ opened this issue 2 years ago • 13 comments

你好,我有两点问题比较疑惑,一是原文的公式 (14) 和你们公布的代码中的写法不一致,我把代码的写法修改为论文中的公式后,运行得到的结果反而更差了;二是跑了多次代码效果均没有达到论文所公布的结果,是不是有什么参数设置或者是一些细节被我我忽略了?希望能够得到解答,谢谢!

EchoJZ avatar Mar 01 '22 14:03 EchoJZ

请问一下您对于Wiki数据集缺少文件rel2ids是怎么处理的呢

hcx0322 avatar Mar 09 '22 11:03 hcx0322

请问一下您对于Wiki数据集缺少文件rel2ids是怎么处理的呢 我还没有处理 WIki 数据集,你可以去找一下 One-shot 的那篇补全的数据集,和阿里这篇应该是一样的

EchoJZ avatar Mar 16 '22 01:03 EchoJZ

我发现这篇论文没有固定种子,导致每次运行的结果都不一样。但是代码复现的结果跟原始论文报道的结果,真的相差很大T T

cjlyl avatar Mar 24 '22 08:03 cjlyl

BTW,原始论文中TransH的公式好像写错了。代码中是对的、具体可以参照https://ojs.aaai.org/index.php/AAAI/article/view/8870

cjlyl avatar Mar 24 '22 08:03 cjlyl

我发现这篇论文没有固定种子,导致每次运行的结果都不一样。但是代码复现的结果跟原始论文报道的结果,真的相差很大T T

是的,结果相差真的很大

EchoJZ avatar Mar 27 '22 09:03 EchoJZ

BTW,原始论文中TransH的公式好像写错了。代码中是对的、具体可以参照https://ojs.aaai.org/index.php/AAAI/article/view/8870

这个我知道

EchoJZ avatar Mar 27 '22 09:03 EchoJZ

我发现这篇论文没有固定种子,导致每次运行的结果都不一样。但是代码复现的结果跟原始论文报道的结果,真的相差很大T T

是的,结果相差真的很大

所以您解决了么,这个问题,我问原作者说选取的最高的精度,但是我跑了很多次精度都比论文中差很多

Yaoyuanzhou avatar Mar 27 '22 09:03 Yaoyuanzhou

感谢大佬们提出疑问,我当时保存了更早一点的代码实验结果,如下图是1-shot和5-shot的,和论文中比较接近,具体实验结果的问题我也需要再查查是实验设置还是代码版本的问题,当时对参数设置和版本管理确实都没有整理好,请大家见谅。 1-shot

5-shot

ngl567 avatar Mar 27 '22 11:03 ngl567

请问还有论文结果对应的seed数值吗?

EchoJZ avatar Apr 04 '22 09:04 EchoJZ

请问一下您对于Wiki数据集缺少文件rel2ids是怎么处理的呢

将train_tasks_in_train.json、dev_tasks.json和test_tasks.json的keys打包成一个字典。

yyysfff avatar Jul 26 '22 01:07 yyysfff

请问一下您对于Wiki数据集缺少文件rel2ids是怎么处理的呢

将train_tasks_in_train.json、dev_tasks.json和test_tasks.json的keys打包成一个字典。

请问您有打包好的rel2ids吗?想要一份,非常感谢~

EchoJZ avatar Dec 06 '22 14:12 EchoJZ

BTW,原始论文中TransH的公式好像写错了。代码中是对的、具体可以参照https://ojs.aaai.org/index.php/AAAI/article/view/8870

我也觉得是写错了,式(14),没写转置,而且嵌入和法向量写反了。还有式(8)的p_i箭头应该改成向左

qizhou000 avatar Dec 07 '22 11:12 qizhou000

请问一下您对于Wiki数据集缺少文件rel2ids是怎么处理的呢

将train_tasks_in_train.json、dev_tasks.json和test_tasks.json的keys打包成一个字典。

因为WIKI 原本有提供 relation2ve.TransE , 所以需要你直接提供打包好的, 不然我们打包的话ke能保证 index 有误

liuran998 avatar Dec 29 '23 23:12 liuran998