FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

bge-reranker-v2-minicpm-layerwise的评分很低,经常为负数

Open thorory opened this issue 1 year ago • 3 comments

请问样例中的评分预期值为多少,测试后发现数值经常在-10左右。 transformer=4.44.2 FlagEmbedding=1.2.10

from FlagEmbedding import LayerWiseFlagLLMReranker reranker = LayerWiseFlagLLMReranker('/root/dataDisk/rerank/bge-reranker-v2-minicpm-layerwise', use_fp16=True) score = reranker.compute_score(['query', 'passage'], cutoff_layers=[28]) print(score)

结果-7.03125

thorory avatar Aug 23 '24 03:08 thorory

'query', 'passage'本身就不太相关,低是正常的

staoxiao avatar Aug 23 '24 11:08 staoxiao

'query', 'passage'本身就不太相关,低是正常的

请教一下哈,我用cutoff_layers是20或者28,评分是-7左右,如果是40,发现评分回到20+ 这个是否正常?

thorory avatar Aug 27 '24 01:08 thorory

请教一下哈,我用cutoff_layers是20或者28,评分是-7左右,如果是40,发现评分回到20+

相关性比较主要关注相对分数而非绝对值,因此分数的正负并不具有决定性影响。建议对不同的查询-段落对进行实验,观察其分数分布是否相似;同时,可以在特定数据集上进行评估,以获得具体的性能结果。

545999961 avatar Aug 29 '24 05:08 545999961