OpenNRE icon indicating copy to clipboard operation
OpenNRE copied to clipboard

Published 20 hours ago • verified publisher icon thunlp

关于评价方法

Open Caesar-s1mple opened this issue 2 years ago • 1 comments

您好！ 请问一下论文中展示的sentence-level的NYT10m指标是如何进行评估的？ 是sentence_re还是multilabel_sentence_re呢？

Caesar-s1mple avatar Jul 09 '22 09:07 Caesar-s1mple

有这个疑问是因为我在您们给出的代码里看到了anno_relation_list和anno_relation_vec这两个key，但是下载的NYT10m数据集并没有这两个key。 因此如果按照您们代码的流程跑multilabel_sentence_re，eval时并不能完成给每对entity_pair预测多对关系。

Caesar-s1mple avatar Jul 09 '22 09:07 Caesar-s1mple

NYT10m的话测试都是对具体每个句子进行关系分类，不是bag的。但是训练你可以使用sentence-level和bag-level都行。

THUCSTHanxu13 avatar Dec 09 '22 16:12 THUCSTHanxu13