Lifeng-Xu

Results 5 comments of Lifeng-Xu

@ykf173 --lora_rank 64不太行,我也是这样的报错,--lora_rank 16可以,--lora_rank 32,64都不行

> 我在本地机器上测试了没有问题,我的测试参数是: > > ```shell > #!/bin/bash > > CUDA_VISIBLE_DEVICES=0 python src/train_sft.py \ > --model_name_or_path chatglm2 \ > --use_v2 \ > --do_train \ > --dataset alpaca_gpt4_zh \ > --finetuning_type lora...

@hiyouga 对呀,您调整lora_rank=32/64生成的文件大小是正常的嘛?

@ykf173 我用的V100,单机8卡,跑出来的就是17kb,可能是accelerate问题?

![image](https://github.com/yangjianxin1/Firefly/assets/57625939/f4f16408-d069-46d8-a253-24e0c964df5f)