复现 BGE w.o. Pretrain 效果不佳

[yilunyoufy]

使用chinese-roberta-large + MTP unlabel zh， 用如下设置进行训练： --num_gpus 8 --per_device_train_batch_size 2400
--do_lower_case true
--learning_rate 1e-5
--weight_decay 0.001
--warmup_ratio 0.05
--temperature 0.02
--num_train_epochs 3
--train_group_size 2
--query_max_len 50
--passage_max_len 128
--gradient_accumulation_steps 1
--sentence_pooling_method cls
--use_deepspeed true
--query_instruction_for_retrieval ""

在训练约2.3个epoch后得分如下： Retrieval 59.10 STS 45.75 PairCLF 62.09 Rerank 59.56 CLF 68.02 Cluster 49.11

和 https://github.com/FlagOpen/FlagEmbedding/issues/869 比对，发现Retrieval偏低，而且总分也赶不上论文中的得分