lmft icon indicating copy to clipboard operation
lmft copied to clipboard

ChatGLM-6B fine-tuning.

Results 7 lmft issues
Sort by recently updated
recently updated
newest added

大佬 运行 你的 代码 ` $ python training_chatglm_csc_demo.py --do_train ` 出现 如下错误: ` RuntimeError: No executable batch size found, reached zero. ` 请问是什么问题呢?

lora微调版本只能在chatglm-6b基础上使用吗,4位量化模型或8位量化,加载会报错

想请问下作者公开的参数是训练了几个epoch的呀? 感觉很奇怪,Finetune后回答格式会出现多个回车的情况,随便测了几个,感觉回答的也不是很好。 想请问各位大佬,这种情况是因为Lora的能力不足?还是说通过加数据Finetune的方案无法让语言模型学到知识呢? 原回答: ![image](https://user-images.githubusercontent.com/37071625/230839084-4696b6c0-8ee6-40d5-9adf-39aa250722bc.png) ![image](https://user-images.githubusercontent.com/37071625/230839434-89dea79d-6274-4c20-97d3-090f195e1db4.png) Finetune后的回答: ![image](https://user-images.githubusercontent.com/37071625/230839042-362aa658-eacb-474d-b528-020a73f9dcd9.png) ![image](https://user-images.githubusercontent.com/37071625/230839405-3d82b6e3-19c7-4b7b-8307-9e810f8357f4.png)

P-tuning 方法,训练后,完全无法使用。 直接,你的训练完以后还能正常聊天吗。