FlagEmbedding
FlagEmbedding copied to clipboard
reranker模型ft后的英文通用效果评估
您好,我使用bge-reranke-v2-m3在自己的英文领域数据上进行ft后。想要验证英文通用能力是否有明显下降。
目前看到对于交叉编码的reranker模型只有提供C-MTEB的评测脚本,主要包含中文相关评测集。是否有交叉编码reranker模型的通用英文评测脚本可以提供或者参考?
例如V2版reranker模型huggingface页面相应的evaluate结果是否有对应测评脚本路径。
可以尝试air-bench英文评估,里面有reranker:https://github.com/AIR-Bench/AIR-Bench