chatglm和chatglm2微调时的区别

[Ethan-Chen-plus]

https://openi.pcl.ac.cn/kewei/ChatGLM-6B/src/branch/main/lora/main-secret-new.ipynb 上面这个notebook对于v1的微调有很好的效果 但是我将其用在v2上，效果欠佳

很多参数变成了none 想请教一下，这些参数出现了怎样的变化？https://openi.pcl.ac.cn/kewei/ChatGLM-6B/src/branch/main/lora/main-secret-new.ipynb 这个notebook对v2需要进行怎样的适配？

[hiyouga]

我们对 v2 的特殊处理如下：https://github.com/hiyouga/ChatGLM-Efficient-Tuning/blob/3a53dd404bec2831d93fd55f516f604f7993dfbb/src/utils/common.py#L228-L232

[Ethan-Chen-plus]

@hiyouga 非常感谢！想请问一下gmask = tokenizer.sp_tokenizer[tokenizer.gMASK_token]这个参数是已经停用了么？ eop_token_id和eos_token_id是等效的么？

[Ethan-Chen-plus]

如果没有了gmask，代码中此处这个gmask应该 如何设置？