FlagEmbedding
FlagEmbedding copied to clipboard
关于reranker
Reranker模型主要用于相对排序,即在一组特定的选项中对相关性进行排列。然而,当涉及到基于相似度结果判断内容是否相关时,这种模型不适用于从绝对值角度进行判断。在知识检索增强体系里,需要排除干扰项,是需要有一个固定阈值的,这种情况该怎么办呢
为什么不在最后一层加上softmax呢
可以选择一个合适的阈值,但可能会有一些例外的case。 最有方式是替换为分类损失训练一个分类器。