FlagEmbedding
FlagEmbedding copied to clipboard
微调数据中negtive样本有没有更好的生成方法
我采用随机抽取非positive文章片段,想知道有没有更好的选择,谢谢大佬
可以通过向量模型挖掘难样本:https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#hard-negatives 其中通过调整range_for_sampling 控制负样本难度。 不同的负样本策略带来的效果不一样,以最终效果为准。
可以通过向量模型挖掘难样本:https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#hard-negatives 其中通过调整range_for_sampling 控制负样本难度。 不同的负样本策略带来的效果不一样,以最终效果为准。
谢谢!