FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

reranker模型ft后的英文通用效果评估

Open i1995wqh opened this issue 1 year ago • 1 comments

您好,我使用bge-reranke-v2-m3在自己的英文领域数据上进行ft后。想要验证英文通用能力是否有明显下降。 目前看到对于交叉编码的reranker模型只有提供C-MTEB的评测脚本,主要包含中文相关评测集。是否有交叉编码reranker模型的通用英文评测脚本可以提供或者参考? 例如V2版reranker模型huggingface页面相应的evaluate结果是否有对应测评脚本路径。 eval

i1995wqh avatar Jul 29 '24 07:07 i1995wqh

可以尝试air-bench英文评估,里面有reranker:https://github.com/AIR-Bench/AIR-Bench

staoxiao avatar Jul 30 '24 03:07 staoxiao