TypeError: unhashable type: 'list'

[SmartMapple]

when i use run_ner_crf.py, i want switch to xlnet model to do ner, i come aross follow error: File "pytorch_version\models\transformers\tokenization_utils.py", line 639, in split_on_tokens if sub_text not in self.added_tokens_encoder \ TypeError: unhashable type: 'list' my configuration is: 'xlnet': (XLNetConfig, XLNetCrfForNer, XLNetTokenizer) i thought this is caused by tokenize process, but i cannot locate the error appreciate for your help

[YueCongPKU]

您好！ 您的邮件我已收到，我会尽快查看的。谢谢哈！

[JinFish]

这个方法的目的是为了将文本分割为一个个token，但实际上在数据的预先处理中就已经将文本分割为token了，这一步实属没有必要。 而且这个方法不能接收list类型，只能接受str类型。