ChatGLM-Tuning issues

训练后加载模型好像没有效果，这是什么情况？

5

训练后加载模型，发现问答不生效，不是训练的内容，感觉好像还是原来模型的回答，LoRa不起作用了。以下是加载模型的部分代码： ``` device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu") model = AutoModel.from_pretrained("models/chatglm-6b", trust_remote_code=True, load_in_8bit=True, device_map='auto', revision="") tokenizer = AutoTokenizer.from_pretrained("models/chatglm-6b", trust_remote_code=True, revision="") model = PeftModel.from_pretrained(model, "/home/glm/ChatGLM-Tuning/output") ```

skysing

微调后的模型如何加载运行？用官方的web_demo跑起来似乎有问题

1

pyy1988

关于加入验证数据的问题

3

请问一下，我在trainer加入了用来验证的数据集，eval数据集是从mini_train_datasets中分出来的，但是为什么产生如下错误？ TypeError:iteration over a 0-d tensor 根据报错信息，应该是验证过程中存在错误，只使用train的数据不会报错。

ai169

这个项目停更了吗

shangzhensen

rm CastOutputToFloat when finetuning

1

1. `CastOutputToFloat` seems unnecessary when finetuning. When computing loss, the code [`lm_logits = lm_logits.to(torch.float32)` ](https://github.com/mymusise/ChatGLM-Tuning/blob/master/modeling_chatglm.py#L1051) will cast half to float32. I also compare the result w/wo the `CastOutputToFloat` op and...

maybeluo