FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

微调数据中negtive样本有没有更好的生成方法

Open wei-potato opened this issue 1 year ago • 2 comments

我采用随机抽取非positive文章片段,想知道有没有更好的选择,谢谢大佬

wei-potato avatar Jan 03 '24 08:01 wei-potato

可以通过向量模型挖掘难样本:https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#hard-negatives 其中通过调整range_for_sampling 控制负样本难度。 不同的负样本策略带来的效果不一样,以最终效果为准。

staoxiao avatar Jan 03 '24 09:01 staoxiao

可以通过向量模型挖掘难样本:https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#hard-negatives 其中通过调整range_for_sampling 控制负样本难度。 不同的负样本策略带来的效果不一样,以最终效果为准。

谢谢!

wei-potato avatar Jan 04 '24 01:01 wei-potato