mkqa 是如何转换成检索数据集的

[afalf]

MKQA本身数据集并不包含corpus，请问是如何和nq的corpus做对应的呢

[hanhainebula]

谢谢你的提问。 MKQA 数据集来源是 Wikipedia，详情请参考 MKQA 论文。我们使用 BeIR/nq 的 corpus 作为候选集。评估一个模型时，我们会先用该模型检索出 Top-k 的 passages，然后根据 passage 中是否包含 answers 判断其是否为正例。计算 Recall@k 时，我们参考 RocketQA 中的定义，计算检索出的 Top-k passages 中，包含 answers 的 passages 的比例。

[BlessedTatonka]

MKQA 数据集来源是 Wikipedia，详情请参考 MKQA 论文。我们使用 BeIR/nq 的 corpus 作为候选集。评估一个模型时，我们会先用该模型检索出 Top-k 的 passages，然后根据 passage 中是否包含 answers 判断其是否为正例。计算 Recall@k 时，我们参考 RocketQA 中的定义，计算检索出的 Top-k passages 中，包含 answers 的 passages 的比例。

Can you please provide some script for MKQA evaluation?

[hanhainebula]

MKQA 数据集来源是 Wikipedia，详情请参考 MKQA 论文。我们使用 BeIR/nq 的 corpus 作为候选集。评估一个模型时，我们会先用该模型检索出 Top-k 的 passages，然后根据 passage 中是否包含 answers 判断其是否为正例。计算 Recall@k 时，我们参考 RocketQA 中的定义，计算检索出的 Top-k passages 中，包含 answers 的 passages 的比例。

Can you please provide some script for MKQA evaluation?

We will provide the scripts and data for MKQA evaluation within this week.

[zemerov]

It would be a great contribution to the open-source community if you provide the MKQA evaluation script.

[staoxiao]

You can see the evaluation script in https://github.com/FlagOpen/FlagEmbedding/tree/master/C_MTEB/MKQA