Bert-BiLSTM-CRF-pytorch icon indicating copy to clipboard operation
Bert-BiLSTM-CRF-pytorch copied to clipboard

Published 20 hours ago • verified publisher icon chenxiaoyouyou

没有使用BERTtokenizer,来处理OOV问题对于没有见过的词直接用[unk]表示，是不是效果不会那么好。

Open ybshaw opened this issue 3 years ago • 0 comments

顺带请教一下，如果使用BERT的tokenzier(英文情况下)，会切成更细的词如##ing，这样句子的长度改变了，但是lable长度却是一样，请问要怎样处理呢，谢谢

ybshaw avatar Apr 10 '21 03:04 ybshaw