Lifeng-Xu
Lifeng-Xu
@ykf173 --lora_rank 64不太行,我也是这样的报错,--lora_rank 16可以,--lora_rank 32,64都不行
> 我在本地机器上测试了没有问题,我的测试参数是: > > ```shell > #!/bin/bash > > CUDA_VISIBLE_DEVICES=0 python src/train_sft.py \ > --model_name_or_path chatglm2 \ > --use_v2 \ > --do_train \ > --dataset alpaca_gpt4_zh \ > --finetuning_type lora...
@hiyouga 对呀,您调整lora_rank=32/64生成的文件大小是正常的嘛?
@ykf173 我用的V100,单机8卡,跑出来的就是17kb,可能是accelerate问题?
