FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

关于BGE-ReRanker的构建

Open BrownTen opened this issue 1 year ago • 1 comments

我已经了解:

  • BGE-ReRanker是以xlm-roberta为基座,通过大量的多语言数据集(query,pos,neg)进行训练的一个Cross-Encoder。
  • 一个支持STS任务的Cross-Encoder的训练方法,通过(sentence1,sentence2,label)这样的数据对基座模型进行训练。

请问:

  1. BGE-ReRanker的训练方法和Cross-Enconder for STS的这个训练方式是否一致?
  2. BGE-ReRanker的训练方法,大概是一个怎样的过程?
  3. BGE-ReRanker是否有提供相应的Paper?

BrownTen avatar Nov 15 '23 09:11 BrownTen

  1. 有些区别,我们使用的是对比学习损失训练的,具体可以参考训练代码。
  2. 可以参考训练代码
  3. 没有

staoxiao avatar Nov 17 '23 02:11 staoxiao