评测了下bge-m3的colbert在mteb的rerank任务上的指标

[NLPJCL]

如下表所示，预测的时候开了fp16，可以辛苦看看是否准确嘛。

Model | T2Reranking | MMarcoReranking | CMedQAv1 | CMedQAv2 bge-m3-colbert | 66.82 | 26.71 | 75.88 | 76.83

1.如果准确的话，感觉指标偏低，甚至比不过bge-v1.5-embedding，主要猜想是下面几个原因： 1.1 训练集中增加跨语言数据集，会损害其在单一任务上的指标。 1.2 colbert领域内和向量模型，相差不大，只有在域外，相差可能会较大。 可以谈谈您的看法嘛？

[staoxiao]

您好，我们没有测过该指标，无法判断是否正确，不过结果看起来是比较正常的。 bge-m3-colbert只在第三阶段微调中使用过，第三阶段中中文数据并不多，没有像稠密向量那样大量数据中经过了retromae预训练和无监督对比学习。 colbert这种多向量的模式，会保留所有token的信息，在域外确实更容易具备优势。