bge-reranker-v2-minicpm-layerwise的评分很低,经常为负数
请问样例中的评分预期值为多少,测试后发现数值经常在-10左右。 transformer=4.44.2 FlagEmbedding=1.2.10
from FlagEmbedding import LayerWiseFlagLLMReranker
reranker = LayerWiseFlagLLMReranker('/root/dataDisk/rerank/bge-reranker-v2-minicpm-layerwise', use_fp16=True)
score = reranker.compute_score(['query', 'passage'], cutoff_layers=[28])
print(score)
结果-7.03125
'query', 'passage'本身就不太相关,低是正常的
'query', 'passage'本身就不太相关,低是正常的
请教一下哈,我用cutoff_layers是20或者28,评分是-7左右,如果是40,发现评分回到20+ 这个是否正常?
请教一下哈,我用cutoff_layers是20或者28,评分是-7左右,如果是40,发现评分回到20+
相关性比较主要关注相对分数而非绝对值,因此分数的正负并不具有决定性影响。建议对不同的查询-段落对进行实验,观察其分数分布是否相似;同时,可以在特定数据集上进行评估,以获得具体的性能结果。