FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

关于训练结果ACC指标下降的问题

Open xjDUAN184 opened this issue 9 months ago • 1 comments

模型为bge-m3 我使用了450条训练数据,其中每条数据包括,1个query sentence,1个pos sentence,7个neg sentence。 其中7个neg sentence,有两种情况: 1 其中有1个neg sentence是标注的,剩下的6个是随机匹配的(满足bgemodel.compute_score小于0.7) 2 7个全都是随机生成的。 1个npos sentence,有两种情况:LLM生成的或者手动标注的。 image 从实验结果中可以发现,当我的权重配比中,sparse不为0时,acc会降低,这种情况是为什么?

xjDUAN184 avatar May 14 '24 10:05 xjDUAN184