TG

reranker训练损失震荡问题

2

 20w条难负样本训练过程中损失出现有规律的震荡，求大佬解惑 训练参数： CUDA_VISIBLE_DEVICES=0,1,2,3,4 torchrun --nproc_per_node 5 --rdzv_id=100 --rdzv_backend=c10d --rdzv_endpoint=localhost:29501 \ -m FlagEmbedding.reranker.run \ --output_dir ./saves/bge-reranker-v2-m3/hn_ft0906_ \ --model_name_or_path /home/workspace/embedding-model/BAAI/bge-reranker-v2-m3 \ --train_data ./dataset/yoyo_finetune_data_minedHN_new.jsonl \ --learning_rate 1e-5 \ --fp16 \...