ysanimals

Do you save the problem?

> 一样 hf上下的的模型 decoder的时候报错 我看到tokenizer的vocob数量是64789 我这边生成的token是64881 报超出范围了 我又看了 chatglm-2的分类头大小是65024 感觉是tokenizer没对上? 我发现确实也是这样的，请问你最后是怎么解决这个问题的