FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

为啥对bge-reranker-large进行CMTEB的T2Reranking数据集测试,分数要大幅低于bge large1.5?

Open adol001 opened this issue 2 years ago • 1 comments

reranker "map": 0.5106724000079814, "mrr": 0.583640624496244 1.5 "map": 0.656140927550039, "mrr": 0.746971351731846

CMTEB是11月27日的版本,没有使用--add_instruction

adol001 avatar Nov 29 '23 10:11 adol001

这里有一些评测结果:https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/reranker#evaluation 与你的结果不匹配,建议核对一些评测方式。评估reranker使用的是这个脚本:https://github.com/FlagOpen/FlagEmbedding/tree/master/C_MTEB#evaluate-reranker

staoxiao avatar Nov 29 '23 15:11 staoxiao