ChatGLM-Efficient-Tuning icon indicating copy to clipboard operation
ChatGLM-Efficient-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon hiyouga

加载chatGLM-6b模型，提示“Please specify `use_v2` argument while using ChatGLM2-6B.”

Open andyzhou1982 opened this issue 1 year ago • 6 comments

/src/pet/core/model.py文件第71行tokenizer = AutoTokenizer.from_pretrained载入tokenizer 之后，打印出tokenizer.eos_token_id=2，并不是130005，导致133行的断言assert tokenizer.eos_token_id == 130005触发 1689149876304

andyzhou1982 avatar Jul 12 '23 08:07 andyzhou1982

你用的是啥模型？

hiyouga avatar Jul 12 '23 08:07 hiyouga

chatGLM-6b，第一代的

andyzhou1982 avatar Jul 13 '23 01:07 andyzhou1982

我把那行断言注释掉了，可以跑

noperoc avatar Jul 13 '23 06:07 noperoc

ChatGLM 1代的 eos token id 应该是 130005 没错啊，2代才是 2

hiyouga avatar Jul 13 '23 09:07 hiyouga

1689242370478估计是应该用config.eos_token_id

andyzhou1982 avatar Jul 13 '23 10:07 andyzhou1982

我这里看还是 130005, image

hiyouga avatar Jul 13 '23 10:07 hiyouga

原因找到了，chatGLM-6b官方的模型有更改，我的是以前下载到本地的版本，4月11日之前的模型会有这个问题 1689298149289

andyzhou1982 avatar Jul 14 '23 01:07 andyzhou1982