Qwen2.5
Qwen2.5 copied to clipboard
qwen2量化的模型微调,loss不收敛
请问一下。分别使用了 qwen2-7B-instruct-AWQ 和qwen2-7B-instruct-GPTQ-int4 两个量化模型进行lora微调,loss 都不收敛。learning-rate 几步之后,就不变了。尝试修改learning-rate、lora-rank 都没有用。 同样的数据,采用qwen2-7B-instruct lora微调能正常收敛。