zimoqingfeng
zimoqingfeng
全参数不行，lora可以 --finetuning_type lora \ --lora_target q_proj,v_proj \
> 全参数不行，lora可以 --finetuning_type lora --lora_target q_proj,v_proj \ 并且deepspeed要开zero2