Results
1
comments of
SnailDM
这个问题出现在data_loader.py的preprocess这里，tokens的长度需要和tag_ids的长度保持一致，但是它这里文本处理逻辑没有考虑全面，它按空格来切分字，一旦你的文本不止一个空格就会报错误，所以我改了下处理逻辑，我们的文本有多个空格的， text_a = d['context']后面添加一行 text_a = text_a.replace(" ", " ")。具体还是要看你自己的文本，问题定位可以在这里找。