zlh

请问用到的“csv”格式的数据集的组织形式是什么样子的？

Hi, does _num_train_epochs_ need to be modified? If not, will the entire epoch be run, not the rest of the epoch?

+1 提交失败 似乎是网站崩了？

您好，感谢您的回答。 1. "msmarco和nq上的llm score和hard label高度一致". 您是指在这两个数据集上的positive relevance label和llm score的top 1 label 基本一致？ 2. “先通过llm score训了一个reranker，然后再用reranker的score训retriever。“ 您的意思是llm score训练出来的reranker生成的score会更好？我觉着这个事情是不是有点奇怪？llm score训练出来的reranker比llm本身更了解llm preference，这个有点反常理吧？

确实，在msmarco上用rerank生成的score，信息量会比直接的llm score更加丰富。 另外我在您的数据中观察到如下现象： 1. teacher score中的top 1 doc 大约有68%都不属于msmarco relevance里的positive doc。 2. msmarco relevance里的positive doc在您生成的这份teacher score中平均排序是top9。 3. 我人工检查了一些样例，teacher score中的top 1 doc大部分都很合理，甚至有一些实现了对msmarco标注的relevance信息的纠错。 1和2都表明，您生成的这份teacher score和msmarco标注的relevance标签区分度是很大的。3 表明这份teacher score数据的质量是很高的，挖掘到了更多的positive doc。 针对上面的现象，我有3个新的疑问： a. 我很好奇您的reranker的具体训练细节是什么？为什么能挖掘出差异化这么大的positive信息。比如训练rerank使用的数据集、用哪个模型做reranker的初始化、以及对比学习中使用的正负样本的来源，等等。 b....

您好，十分感谢您的积极回复！ a. 请问是将nq和msmarco数据集混合在一起训练的吗？ b. “kl-divergence优化模型”是指做对比学习的同时，让cls生成的score去拟合llm score么？ c. 您这里训练rerank用的llm score是用哪个llm生成的？

感谢您的积极回复！很厉害的工作，很棒的开源！👍👍👍

您好 我注意到您[训练llm-embedder的代码](https://github.com/FlagOpen/FlagEmbedding/blob/70cb0f04fa16012c8e1338961a24110bc8c801a2/FlagEmbedding/llm_embedder/src/retrieval/modeling_dense.py#L276)里在用kl-divergence蒸馏teacher-score的时候，teacher-score和student-score都加上了temperature。 请问您在用llm score训练reranker的时候，kl-divergence上加这两个temperature了么？还有对比损失上temperature具体是多少？

您好，关于您提供的msmarco训练集我有两个需要请教的地方： 1. 原始的msmarco中仅有(query，document)，请问您提供的msmarco中的answers字段是怎么获得的？ 2. “neg”字段中的负样本是通过什么检索方式获得的？

Hello, thank you for following our work! We will update the code and model weights as soon as possible. About 1 week or so. Thanks again!