关于论文里在 complexWebQuesion 数据集上与pullNet的对比

[uwittygit]

在论文里有写到 SPARQA在 complexWebQuesion数据集上准确率为 31.57% 低于PullNet（45.9%），是因为PullNet使用了额外的文档数据集。但是我回去找PullNet论文的数据，它说：“ On the test set, our model has 45.9% Hits@1 in the KB only setting ” 。这是怎么回事呢？ 论文的这种PipeLine的方式，我觉得在工程应用上有前途，可控！但是文中各个模块是单独训练的，没有像PullNet那样把各个模块串起来做若监督训练，是不是有提升空间？ 有空交流下，多谢。

[simba0626]

欢迎您的问题。问题1: 我会再核实一下KB-only，另外需要说的是PullNet是假定topic entities正确的情况下进行的QA，而SPARQA是end-to-end的QA。问题2: 对的，联合起来应该会有提示空间。

欢迎与我邮件([email protected]) 交流，谢谢

[simba0626]

Hi uwittygit, 问题1, 经与PullNet作者核实: In the KB only setting, PullNet did not use text corpus. The subgraph of PullNet is initiated with annotated topic entities. SPARQA do not use annotated topic entities. So it is still not comparable. I add the explanation in README.md. 问题2, 联合训练是值得尝试的，比如联合考虑entity linking的置信度, candidate query graph的置信度等因素.

Thanks for your questions.