使用QLoRA微调时报错

[CCzzzzzzz]

参数如下： CUDA_VISIBLE_DEVICES=0 python src/train_sft.py --do_train --dataset alpaca_gpt4_zh --finetuning_type lora --quantization_bit 4 --output_dir path_to_sft_checkpoint --per_device_train_batch_size 4 --gradient_accumulation_steps 4 --lr_scheduler_type cosine --logging_steps 10 --save_steps 1000 --learning_rate 5e-5 --num_train_epochs 3.0 --fp16 报错信息如下：

[hiyouga]

网上没有相关资料，我也没遇到过这个错误。试试用 8 比特量化

[CCzzzzzzz]

网上没有相关资料，我也没遇到过这个错误。试试用 8 比特量化

请问您是在linux的环境吗？会不会是因为我是windows的缘故？

[hiyouga]

可能是的，建议用 Linux 做微调