FlagEmbedding
FlagEmbedding copied to clipboard
为啥对bge-reranker-large进行CMTEB的T2Reranking数据集测试,分数要大幅低于bge large1.5?
reranker "map": 0.5106724000079814, "mrr": 0.583640624496244 1.5 "map": 0.656140927550039, "mrr": 0.746971351731846
CMTEB是11月27日的版本,没有使用--add_instruction
这里有一些评测结果:https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/reranker#evaluation 与你的结果不匹配,建议核对一些评测方式。评估reranker使用的是这个脚本:https://github.com/FlagOpen/FlagEmbedding/tree/master/C_MTEB#evaluate-reranker