你好關於python finetune的參數調整

[TimLeeGee]

想訓練一個一百多條問答的文件，但依照以下參數 python finetune.py
--dataset_path data/alpaca
--lora_rank 8
--per_device_train_batch_size 6
--gradient_accumulation_steps 1
--max_steps 52000
--save_steps 1000
--save_total_limit 2
--learning_rate 1e-4
--fp16
--remove_unused_columns false
--logging_steps 50
--output_dir output

訓練出來的模型，在問答上不理想，甚至語無倫次，請問我該朝哪個方向調整會比較好呢? 入門新手，請多包涵。

[taofennanhai]

最好是从学习率开始调整，每次调小一个数量级。微调的数据越多越好。

[TimLeeGee]

最好是从学习率开始调整，每次调小一个数量级。微调的数据越多越好。

謝謝，我試試。