BERT-for-Chinese-Question-Answering icon indicating copy to clipboard operation
BERT-for-Chinese-Question-Answering copied to clipboard

Published 20 hours ago • verified publisher icon eva-n27

测试集的EM和F1过低是什么问题

Open wyx518 opened this issue 5 years ago • 9 comments

图片

wyx518 avatar Apr 09 '19 11:04 wyx518

请尝试一下新更新的eval.py代码，增加了从zhon中导入的中文字符

eva-n27 avatar Apr 09 '19 13:04 eva-n27

没有变化，且ft_model目录下无文件

wyx518 avatar Apr 10 '19 10:04 wyx518

https://github.com/xzp27/BERT-for-Chinese-Question-Answering/blob/58c62f9baf34510d441834fa743b616372abf574/run_squad.py#L908 run_squad.py文件有对微调后的模型参数存放目录创建的bug修改，更新一下试试呢

eva-n27 avatar Apr 10 '19 11:04 eva-n27

已修改，生成了fr_model.bin文件目录但没有文件

wyx518 avatar Apr 15 '19 12:04 wyx518

我的model在测试集的结果也很差,大约是: {"exact_match": 0.031065548306927617, "f1": 3.400328488853547}, 想问一下你找到解决这个问题的办法了吗?

wtomin avatar May 02 '19 03:05 wtomin

已修改，生成了fr_model.bin文件目录但没有文件

屏幕输出中有没有'Best dev score {} in steps {}:'.format(best_dev_score, step)？

eva-n27 avatar May 03 '19 15:05 eva-n27

我的model在测试集的结果也很差,大约是: {"exact_match": 0.031065548306927617, "f1": 3.400328488853547}, 想问一下你找到解决这个问题的办法了吗?

eval.py代码有更新，请更新一下看看结果是否正常

eva-n27 avatar May 03 '19 15:05 eva-n27

图片 应该是没有

wyx518 avatar May 06 '19 08:05 wyx518

你好，请问下参数中的init_checkpoint的模型和finetuned_checkpoint的模型是一样的吗？比如init_checkpoint我用的是bert-base-chinese-pytorch_model.bin，finetuned_checkpoint的是哪个？

hquzhuguofeng avatar Oct 11 '19 13:10 hquzhuguofeng