官方可以提供一份run train_with_qlora.py的示例脚本吗

[zhangfan-algo]

主要是不太懂需要配置那些参数,辛苦大佬帮忙给一份示例跑train_with_qlora微调代码的脚本

[i4never]

python train_with_qloara.py \
--model_name_or_path TigerResearch/tigerbot-7b-chat \
--data_files ./*.jsonl \
--do_train \
--output_dir ./tigerbot-7b-chat-qlora \
--do_train \
--num_train_epochs 3 \
--learning_rate 2e-5 \
--save_strategy "steps" \
--save_steps 100 \
--logging_steps 1

以上是一个示例启动参数吗，其余参数可以参考transformers training_args以及train_with_qlora中的PeftConfig部份。

[zhangfan-algo]

好的 感谢

[zhangfan-algo]

还有一个问题想问下,就是8*A100 80G的机器 可以微调 70B-chat版本的模型吗

[i4never]

@zhangfan-algo 可以试试zero3+offload的方式、我们没有在这个配置下跑过、但是大概率全量微调没有问题。