英文测试集下做 predict出现了X label

[JQIANG125]

用了英文的checkpoint 和vocab做fine tuning。但是prediction的时候 准确率极低，并且label中会出现X。

[macanv]

X是分词导致的问题

[zwd13122889]

X是分词导致的问题

您好，我也是英文的版本，也出现了如上的label中有X， 那么我该如何解决这个问题呢？或者说我该在哪一部分取消分词呢？ @macanv @JQIANG125

[lulia0228]

您好，我也是英文数据集跑出来许多X label , 同样参数在kyzhouhzau/BERT-NER跑出来效果很好，是哪里设置的不对呢

[huanghonggit]

@macanv @JQIANG125@lulia0228@zwd13122889 测试再用英文数据集的时候，acc也只有56%左右...请问你们解决了嘛

[ZhouXiaoLeilei]

@macanv @JQIANG125@lulia0228@zwd13122889 测试再用英文数据集的时候，acc也只有56%左右...请问你们解决了嘛

我也遇到了相同的问题，发现predict阶段作者在写结果文件（label_test.txt）那块代码是有问题的，不适用于英文，可以参考kyzhouhzau/BERT-NER代码的predict阶段改一下。