XYCsony

作者，你好，我在用我的数据集上继续指令微调的时候遇到了loss为0的问题，想问一下作者或者其他人有没遇到同样的问题，问题、代码、训练参数下所示： 代码：` tokenizer = LlamaTokenizer.from_pretrained(“ziqingyang/chinese-alpaca-lora-7b”, padding_side="left") base_model = LlamaForCausalLM.from_pretrained( "decapoda-research/llama-7b-hf", # load_in_8bit=True, load_in_8bit=False, torch_dtype=torch.float16, device_map=device_map, ) base_model.resize_token_embeddings(len(tokenizer)) # config = PeftConfig.from_pretrained(lora_model) # model = get_peft_model(base_model, config) # 改成加载别人训练好的模型 model =...

> > > > 请问解决了吗？ 还没解决，你也遇到同样问题了嘛？