Peter-of-Astora

不好意思还想再问一下，escape special tokens是在哪里设置呀，configuration的文件里面吗 然后惩罚系数的话，具体是指哪个参数呀😂

是要把tokenizer文件里面的这个设置成True吗 

惩罚系数是在这里： https://github.com/THUDM/ChatGLM3/blob/main/basic_demo/web_demo_gradio.py#L139 在api的demo和gradio的demo里面都有这个参数，关于特殊字符的参数也在这里面。 我更改了参数后，发现依然存在以上问题。 最后解决的办法是，用少量（20K以下就行）的通用SFT数据进行训练，发现可以进行正常的交流：  所以应该是需要在增量预训练后进行能力恢复，就可以了。