关于验证和训练模型的问题

[Dinaelin-Yip]

作者您好，复现该项目代码之后，有两个疑问。 第一，我使用了您在谷歌云盘上传的checkpoint对两个数据集进行了验证。其中，LogiQA的验证集和测试集、Reclor的验证集结果基本符合您的论文数据。对Reclor的测试集，我给test.json补充了标签，得到的测试结果是74.4%，远高于论文数据。 第二，我尝试在3块RTX8000上从头开始训练模型，参数和原代码中的一致。但是训练后模型在验证集与测试集上的正确率远低于预期，似乎loss也没有收敛。请问参数需要更改吗？ 祝您新年快乐，工作顺利！

[patronum08]

你好！ 感谢对我们工作的关注。在test集合上正确率应该没这么高。方便告诉你标注的题目数量吗？可能是题目数量少导致的。此外，ReClor是有官方leaderboard的，您可以提交的leaderboard上检验一下测试集的正确率。 loss没收敛应该不是参数的问题，您可以检查一下各软件包的版本。 如果您还遇到了什么问题，随时留下评论或者联系我。 谢谢！