SpanNER icon indicating copy to clipboard operation
SpanNER copied to clipboard

对wnut17进行测试的时候出现如下bug

Open lukerluker opened this issue 2 years ago • 2 comments

T35VWRGH8YTY2S6}2OD2V_X 感觉原因是start、end不一定是这个origin_offset2token_eidx[end]词典的key,请问该怎么解决。

lukerluker avatar Jul 03 '22 04:07 lukerluker

似乎是因为WNUT17数据集中存在一些特殊字符导致的,你可以将这一行样本打印出来,定位下特殊符号的位置。将这几个特殊字符去掉对结果不会有太大影响。

jinlanfu avatar Jul 05 '22 04:07 jinlanfu

谢谢学长,确实是数据集的问题。重新处理了数据集就可以了。

lukerluker avatar Jul 07 '22 09:07 lukerluker