Boris Malashenko

> MKQA 数据集来源是 Wikipedia，详情请参考 [MKQA 论文](https://arxiv.org/abs/2007.15207)。我们使用 [BeIR/nq](https://huggingface.co/datasets/BeIR/nq) 的 corpus 作为候选集。评估一个模型时，我们会先用该模型检索出 Top-k 的 passages，然后根据 passage 中是否包含 answers 判断其是否为正例。计算 Recall@k 时，我们参考 [RocketQA](https://aclanthology.org/2021.naacl-main.466.pdf) 中的定义，计算检索出的 Top-k passages 中，包含 answers 的 passages 的比例。 Can you...