[Bug] HuggingfaceTokenizer Crash

[DakeQQ]

您好, 当执行tokenizer.cpp第627行, HuggingfaceTokenizer->encode_.at(s), 会因为encode里面存放的每一条string最后位都带有“\r”而回报no key found. 同样在decode_.at(id)也会找不到key. 我目前是在第498行下方新增“line.pop_back();"暂时解决这问题. 还麻烦您看看咋回事. 謝謝您~

[liulangdeyeshou]

我之前碰到过类似的报错，不过后来发现是cpp的代码没有更新到最新的。你可以试试用最新版本的mnn-llm