ccks2019-ckbqa-4th-codes icon indicating copy to clipboard operation
ccks2019-ckbqa-4th-codes copied to clipboard

Published 20 hours ago • verified publisher icon duterscmy

F1:40%左右

Open hahlw opened this issue 4 years ago • 6 comments

这是运行tuple_filter.py 的结果 在验证集上逻辑回归筛选后top10 召回率为0.87 单实体问题中，候选答案可召回的的比例为:0.893 候选答案能覆盖标准查询路径的比例为:0.685

为啥子测试的时候F1那么低~ 有大佬复现了代码的结果吗?

hahlw avatar Apr 16 '20 15:04 hahlw

我一开始跑通这个代码也差不多是这个样子，后面慢慢优化、加特征、调参后（特别是实体链接那部分）测试集f1就接近70%了

1234560o avatar Apr 17 '20 02:04 1234560o

我一开始跑通这个代码也差不多是这个样子，后面慢慢优化、加特征、调参后（特别是实体链接那部分）测试集f1就接近70%了

好的好的,不知道大佬可以私一份代码吗?

hahlw avatar Apr 17 '20 02:04 hahlw

实在抱歉，因为一些原因不能公开。不过，在这个代码基础上修正一些bug和努力优化是能达到比较好的效果的

1234560o avatar Apr 17 '20 02:04 1234560o

实在抱歉，因为一些原因不能公开。不过，在这个代码基础上修正一些bug和努力优化是能达到比较好的效果的

好的好的,谢谢哈~

hahlw avatar Apr 17 '20 03:04 hahlw

如果similarity.py这个环节微调好的话，测试集上单模型到58%左右是正常的，你可以把学习速率和轮次再调一下

duterscmy avatar May 03 '20 09:05 duterscmy

如果similarity.py这个环节微调好的话，测试集上单模型到58%左右是正常的，你可以把学习速率和轮次再调一下

想问一下，我用Similarity跑了一下给出的文本匹配的数据集，测试集准确率只有62%，请问这是预期效果嘛

Jun-Zhang-32108 avatar Jun 12 '21 08:06 Jun-Zhang-32108