IndexError: index out of range in self

[Siomarry]

请问一下，在某些输入数据中，产生了这样的问题. Traceback (most recent call last): File "D:/Bert+Once/CLUENER2020/BERT-CRF/CheckBug.py", line 14, in embed = embedding(input_to_embed) File "D:\Bert+Once\venv\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl result = self.forward(*input, **kwargs) File "D:\Bert+Once\venv\lib\site-packages\torch\nn\modules\sparse.py", line 145, in forward return F.embedding( File "D:\Bert+Once\venv\lib\site-packages\torch\nn\functional.py", line 1913, in embedding return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse) IndexError: index out of range in self 是什么原因呢.

[Siomarry]

@hemingkx 有时间帮忙看看呀. 麻烦大佬了！！

[zjmwqx]

空格和tab token不会被识别。导致label和tokens的数量不一致。你看句子里是不是有。需要去掉。作者这里用了一种暴力的对齐方式。我再看有没有更好的办法

[hemingkx]

对的 可能是 @zjmwqx 提到的问题，这个repository只是一个简单实现的参考，可以根据自己需要修改代码