使用LORA微调 数据量为147条专业的对话，但是微调过后发现和没有微调前的表现一样，没有学会呢

[LiZhangMing]

[hiyouga]

数据量太少了

[LiZhangMing]

数据量太少了

1，不过看训练的时候 loss下降的很快到0.01了 但是验证集上loss是一直从0.41上升到0.51了。 2，最少需要多少呢

[hiyouga]

微调后加载 checkpoint 了吗？

[LiZhangMing]

1，先进行了训练微调 如下所示 CUDA_VISIBLE_DEVICES=4,5 accelerate launch train_sft.py --model_name_or_path "THUDM/chatglm2-6b" --use_v2 --do_train --dataset electric --dataset_dir ../data --finetuning_type lora --output_dir path_to_sft_checkpoint --overwrite_cache --per_device_train_batch_size 1 --gradient_accumulation_steps 4 --per_device_eval_batch_size 1 --evaluation_strategy steps --lr_scheduler_type cosine --logging_steps 10 --save_strategy steps --eval_steps 100 --save_steps 100 --warmup_steps 0 --learning_rate 0.0006 --num_train_epochs 60.0 --dev_ratio 0.1 --load_best_model_at_end --plot_loss --fp16

2， 然后是 测试 python src/cli_demo.py --checkpoint_dir src/path_to_sft_checkpoint

[hiyouga]

更新到最新代码，并且试试训练集的问题是否能正确回答。

[LiZhangMing]

更新到最新代码，并且试试训练集的问题是否能正确回答。

今天下午6点更新的代码 还是没学到，我直接用的是训练集数据。

[hiyouga]

用 checkpoint-900 文件夹的权重试试

[LiZhangMing]

好的 不过数据量 最少是多少呢 调整lora等模型

[hiyouga]

至少也要几千条

[LiZhangMing]

至少也要几千条

对了 我的是英文的训练集， 这个没关系吧，他会自动转token吧

[hiyouga]

和语言无关