FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
BGE-M3复现评估结果疑问
作者，你好，非常感谢你们能够开源这么棒的模型，目前我在自己的服务器上对BGE-M3进行复现，目前仅复现了微调阶段，使用的基座模型是bge-m3-unsupervised，执行命令是：
torchrun --nproc_per_node 8 {WORK_DIR}/run.py \
--output_dir /cache/output \
--model_name_or_path {WORK_DIR}/preModel/bge-m3-unsupervised \
--train_data /cache \
--learning_rate 1e-5 \
--fp16 \
--cache_path {WORK_DIR}/cache_path/ \
--gradient_checkpointing True \
--gradient_accumulation_steps=54 \
--dataloader_pin_memory=True \
--dataloader_num_workers=4 \
--deepspeed {WORK_DIR}/ds_config_zero2.json \
--use_reentrant False \
--num_train_epochs 5 \
--per_device_train_batch_size 2 \
--dataloader_drop_last True \
--normlized True \
--temperature 0.02 \
--query_max_len 512 \
--passage_max_len 7131 \
--train_group_size 8 \
--negatives_cross_device \
--logging_steps 10 \
--same_task_within_batch True \
--unified_finetuning True \
--use_self_distill True \
--enable_modelarts True \
--train_url {args.train_url} \
--data_url {args.data_url}
最后，我对得到的模型进行评估，目前是在mldr数据集的ar语言上进行评估： 首先是dense检索，得到的结果是nDCG@10：41.38，论文中是47.65，相差6个点以上； 然后是sparse检索，得到的结果是nDCG@10：0.0，就很奇怪呀，怎么会出现0.0这个结果呀，我在测试之前对你们给出的bge-m3模型进行过评估，与论文基本一致，说明我的环境是没问题的，但是在评估我自己复现的模型时，就出现这样0.0这样的结果了，麻烦作者帮忙看看，是不是我的训练参数设置的有问题呢？
@WangCC-77 你好，请问一下你在测试mldr数据集的英文数据规模大概多少，是什么机器配置呢，用的什么卡，能不能透露一下，我也在使用？
我这边目前还没对en语言进行测试，目前只在ar语言上进行了测试；所用的显卡是3090，测试的时候只用了一张卡，我后面也测试一下en语言，有结果再给你留言。
