FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

关于reranker

Open allendred opened this issue 2 years ago • 2 comments

Reranker模型主要用于相对排序,即在一组特定的选项中对相关性进行排列。然而,当涉及到基于相似度结果判断内容是否相关时,这种模型不适用于从绝对值角度进行判断。在知识检索增强体系里,需要排除干扰项,是需要有一个固定阈值的,这种情况该怎么办呢

allendred avatar Nov 16 '23 14:11 allendred

为什么不在最后一层加上softmax呢

allendred avatar Nov 17 '23 02:11 allendred

可以选择一个合适的阈值,但可能会有一些例外的case。 最有方式是替换为分类损失训练一个分类器。

staoxiao avatar Nov 17 '23 02:11 staoxiao