FlagEmbedding
FlagEmbedding copied to clipboard
FlagOpen
Retrieval and Retrieval-augmented LLMs
如题，使用两份相同的业务数据进行微调，发现cross encoder的bge-reranker-large模型效果不如bge-large，有点困惑
请问在C-MTP（labeled）的838K数据中，T2-Ranking、mMARCO-zh、DuReader、NLI-zh这四个数据集分别占了多少呢？
我看到这里提供的数据里面，已经附带了教师模型的scores、pos scores和neg scores，请问这些scores是如何得到的？ 代码里并不是通过定义教师模型进行推理得到scores，而是直接使用数据里的scores，如果我在做蒸馏的时候，需要自己定义教师模型和学生模型，请问该如何操作？ 
请问作者，bge-reranker-large 和 bge-reranker-base 的区别 是什么？（以下是我的几个猜想。） - 训练数据更大？ - 支持更多语言？ - 提供更多选择，根据自己资源配置选 large or base？ 我看到了作者在Reranking的模型排名，large相比base在平均得分上高出1%左右 我也看到了其他博主的测评，large相比base看上去对passage ranking的结果有一定提升，但好像也提升的不多。 所以我在考虑**在有限的资源上，应该选择 large还是 base**？
为什么训练过程中显存占用会持续变大呢？ 
Reranker模型主要用于相对排序，即在一组特定的选项中对相关性进行排列。然而，当涉及到基于相似度结果判断内容是否相关时，这种模型不适用于从绝对值角度进行判断。在知识检索增强体系里,需要排除干扰项,是需要有一个固定阈值的,这种情况该怎么办呢
假设我的数据集为: { "query": "query", "pos": ["A", "B", "C"], "neg": ["D", "E", "F"] } 我在训练的时候，拆成了3条训练数据： {"query":"query","pos":["A"],"neg":["D","E","F"]} {"query":"query","pos":["B"],"neg":["D","E","F"]} {"query":"query","pos":["C"],"neg":["D","E","F"]} 我发现：训练过程中，loss一直维持在2.5左右不下降，训练后的模型，在推理的时候，输出分数数据一致，都是2.861328125，没有区分度  是不是在训练reranker的时候，数据集不能拆分，因为在训练排序模型时，应该是按照pos集合的元素先后顺序给分，如果拆开的话，针对同一个query，会有不同的pos对应关系，训练时也会相互影响，是这个原因吗？
我已经了解： - BGE-ReRanker是以xlm-roberta为基座，通过大量的多语言数据集（query，pos，neg）进行训练的一个Cross-Encoder。 - 一个支持STS任务的Cross-Encoder的[训练方法](https://github.com/UKPLab/sentence-transformers/blob/master/examples/training/cross-encoder/training_stsbenchmark.py)，通过（sentence1，sentence2，label）这样的数据对基座模型进行训练。 请问： 1. BGE-ReRanker的训练方法和Cross-Enconder for STS的这个训练方式是否一致？ 2. BGE-ReRanker的训练方法，大概是一个怎样的过程？ 3. BGE-ReRanker是否有提供相应的Paper？
挖掘难负例报错
挖掘难负例报错： create index and search------------------ AttributeError: module 'faiss' has no attribute 'GpuMultipleClonerOptions' 已经安装了3个跟faiss有关的包，不知道还需要什么？ $pip list | grep faiss autofaiss 2.15.8 faiss-cpu 1.7.4 faiss-gpu 1.7.2