text2vec icon indicating copy to clipboard operation
text2vec copied to clipboard

关于BGE的蒸馏问题

Open hgwu4869 opened this issue 2 years ago • 2 comments

请问text2vec-bge-large-chinese这个模型,是基于BGE做知识蒸馏得到的吗? 如果是的话,请问能提供蒸馏这部分的代码吗? 虽然已经给出参考了的sentence transformer的哪部分代码,但如果有直接可run的代码会更方便些。

hgwu4869 avatar Nov 06 '23 02:11 hgwu4869

  1. 不是蒸馏,是二次训练,发现bge对短文本相似度给分普遍较高,故针对短文本,用cosent方法在sts-b-zh数据集上训练后得到的;
  2. sentence transformer里面有示例,可以直接跑

shibing624 avatar Nov 06 '23 03:11 shibing624

好的,在README里BGE和模型蒸馏连在一起,所以误解了。 那么请问README里,如下图所示的模型蒸馏这部分是想说明什么呢?在该项目里有知识蒸馏相关的代码示例能直接跑吗?

text2vec-bge-模型蒸馏

hgwu4869 avatar Nov 06 '23 04:11 hgwu4869