FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

finetune没有进度问题

Open Ke51n opened this issue 1 year ago • 3 comments

image

按照微调命令,一直没有进度,在4090和A100上都是这样,请问如何解决

Ke51n avatar Dec 29 '23 07:12 Ke51n

可以提供一下训练命令方便分析。

staoxiao avatar Dec 29 '23 09:12 staoxiao

可以提供一下训练命令方便分析。

训练指令是这样的: python /home/wk/wkstation/retrival/FlagEmbedding-master/FlagEmbedding/baai_general_embedding/finetune/run.py --output_dir /home/wk/wkstation/models/BAAI/finetuned/medical_bge-large-zh-v1.5 --model_name_or_path /home/wk/wkstation/models/BAAI/bge-large-zh-v1.5/Xorbits/bge-large-zh-v1.5 --train_data /home/wk/wkstation/retrival/Multi-CPR-main/data/my_data/medical_train.jsonl --learning_rate 1e-5 --fp16 --num_train_epochs 10 --per_device_train_batch_size 256 --dataloader_drop_last True --normlized True --temperature 0.02 --query_max_len 64 --passage_max_len 256 --train_group_size 9 --logging_steps 10 --query_instruction_for_retrieval ""

Ke51n avatar Dec 30 '23 07:12 Ke51n

命令看起来没有问题,可能是环境之类的问题。

staoxiao avatar Dec 30 '23 09:12 staoxiao