Finetune-ChatGLM2-6B icon indicating copy to clipboard operation
Finetune-ChatGLM2-6B copied to clipboard

我只有200多条多轮对话的数据,去做全参微调能有效果吗?

Open ymmbb8882ymmbb opened this issue 2 years ago • 2 comments
trafficstars

一下是我的参数 LR=6e-6 DATE=0704 EPOCH=2 MAX_LEN=1024 MASTER_PORT=8888 deepspeed --num_gpus=8 --master_port $MASTER_PORT main.py
--deepspeed deepspeed.json
--do_train
--do_eval
--train_file car_train.json
--validation_file car_dev.json
--prompt_column conversations
--overwrite_cache
--model_name_or_path /data/project/th/chatglm2-6b
--output_dir ./output/adgen-chatglm-6b-ft-$LR-$DATE-$MAX_LEN-epoch-$EPOCH
--overwrite_output_dir
--max_length $MAX_LEN
--per_device_train_batch_size 8
--per_device_eval_batch_size 1
--gradient_accumulation_steps 2
--predict_with_generate
--num_train_epochs $EPOCH
--logging_steps 20
--max_steps 1000
--save_steps 500
--learning_rate $LR
--do_eval False
--fp16 True
--save_total_limit 5 \

ymmbb8882ymmbb avatar Aug 11 '23 07:08 ymmbb8882ymmbb