Chen8566

同问，使用SFT或者LORA的脚本训练后，生产出的模型需要怎么进行Chat或者推理？似乎没办法再用model.chat的方式了，是不是需要对输入做一些前置处理？

> > 同问，使用SFT或者LORA的脚本训练后，生产出的模型需要怎么进行Chat或者推理？似乎没办法再用model.chat的方式了，是不是需要对输入做一些前置处理？ > > 试试下面的代码： import torch from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer path = '/mnt/ly/project/MiniCPM/models/MiniCPM' # 替换你的基础模型路径 device = torch.device("cuda:2" if torch.cuda.is_available() else "cpu") #...

> 这是我训练的模型，输出也很烂，不知道是为什么？ > >  我是4张卡，--per_device_train_batch_size 2，lora的训练效果很差。