FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

BAAIbge-large-zh-v1.5少量正样本是否可以finetune

Open LanceLuoyuan opened this issue 2 years ago • 1 comments

非常棒的工作,想请教下以下两个问题。

  1. 基于BAAI/bge-large-zh-v1.5 继续finetune,训练数据里一定要有负样本吗。
  2. 一次finetune最少需要的样本量是多少,如果我只有一两个正样本去finetune是否可行。 例如我需要模型新增能力:能够识别出 「销售额和GMV」, 「点击率和Ctr」的相关性很高。 那我只用这两条正样本去finetune可行吗

LanceLuoyuan avatar Jan 05 '24 09:01 LanceLuoyuan

  1. neg可以为空,注意将train_group_size设为1即可。此时程序会使用其他query的正样本作为负样本,所以此时不能只有一条训练数据,否则没有负样本进行训练模型容易崩溃。
  2. 可以尝试一下。不过数据量少会容易出现过拟合,可以进一步通过LM-Cocktail融合模型试试。

staoxiao avatar Jan 05 '24 09:01 staoxiao