Furong
Furong
> 1. 只使用embedding模型的结果怎样呢 > 2. 微调reranker可以换一份数据,用微调好的embedding模型获取新的negatives,参考https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#hard-negatives > 3. negatives数量确实会影响, 但是一般来讲7或15个都是足够的 > 4. 从头训的话需要大量的数据,所以效果可能不会太好,得基于bge-reranker-v2-minicpm-layerwise进行微调,你这里batch size用的是多大呢,是128训了50 steps吗 > 5. 基于bge-reranker-v2-minicpm-layerwise进行from_finetuned_model模式的微调其它参数都保持一致就行,你这里可以换份negatives训练,同时也测一下top-5,top-10之类的结果 感谢回复! 1. 只使用微调后的embedding模型是0.9252336448598131,只使用未微调的embedding模型的结果是0.8467966573816156 2.3.5. 好的,我按照这个建议试下 4. 确实,对于从头训来说我的数据集就相对小了,这版的参数是直接使用的官方参考;因为我们下游任务的限制,即使扩充数据集大概也就最多triple,这样来看,这个微调方式应该就不适合了