FlagEmbedding
FlagEmbedding copied to clipboard
关于训练结果ACC指标下降的问题
模型为bge-m3
我使用了450条训练数据,其中每条数据包括,1个query sentence,1个pos sentence,7个neg sentence。
其中7个neg sentence,有两种情况:
1 其中有1个neg sentence是标注的,剩下的6个是随机匹配的(满足bgemodel.compute_score小于0.7)
2 7个全都是随机生成的。
1个npos sentence,有两种情况:LLM生成的或者手动标注的。
从实验结果中可以发现,当我的权重配比中,sparse不为0时,acc会降低,这种情况是为什么?