text2vec
text2vec copied to clipboard
关于BGE的蒸馏问题
请问text2vec-bge-large-chinese这个模型,是基于BGE做知识蒸馏得到的吗? 如果是的话,请问能提供蒸馏这部分的代码吗? 虽然已经给出参考了的sentence transformer的哪部分代码,但如果有直接可run的代码会更方便些。
- 不是蒸馏,是二次训练,发现bge对短文本相似度给分普遍较高,故针对短文本,用cosent方法在sts-b-zh数据集上训练后得到的;
- sentence transformer里面有示例,可以直接跑
好的,在README里BGE和模型蒸馏连在一起,所以误解了。 那么请问README里,如下图所示的模型蒸馏这部分是想说明什么呢?在该项目里有知识蒸馏相关的代码示例能直接跑吗?