Jianan LIANG

finetune垂类数据集 loss不降低

6

你好，finetune垂直领域的数据集大约6500条，query是从单条document里用大模型抽样出来的问题，pos是那条document，负样本是用了BAAI/bge-large-zh-v1.5模型计算与大概8万条documents的score，随机取了top30-100的5条。但训练发现loss不降低，尝试过多个epoch torchrun --nproc_per_node 1 \ -m FlagEmbedding.baai_general_embedding.finetune.run \ --output_dir model_6 \ --model_name_or_path model_large \ --train_data toy_finetune_data_100.jsonl \ --learning_rate 1e-5 \ --fp16 \ --num_train_epochs 10 \ --per_device_train_batch_size 10 \ --dataloader_drop_last True...