SearchEngine icon indicating copy to clipboard operation
SearchEngine copied to clipboard

为课程提供一份代码实现

Open NLPJCL opened this issue 1 year ago • 0 comments

感谢王树森老师深入浅出的讲解,工业界搜索是如何做的。我计划在自己的开源项目中,实现下王树森老师讲解的相关性BERT模型训练所涉及到的loss,以及两者的多任务学习。 1.MSE和交叉熵建模回归任务,建模相关性的绝对值。 2.pairwise logistic损失函数,建模顺序。

项目地址:https://github.com/NLPJCL/RAG-Retrieval

目前,RAG-Retrieval 提供了全链路的RAG检索微调(train)和推理(infer)代码。 对于微调,支持微调任意开源的RAG检索模型,包括向量(embedding)、迟交互式模型(colbert)、交互式模型(cross encoder)。 对于推理,RAG-Retrieval专注于排序(reranker),开发了一个轻量级的python库rag-retrieval,提供统一的方式调用任意不同的RAG排序模型。

NLPJCL avatar Jun 02 '24 04:06 NLPJCL