Bge-M3 训练

Open zwhus opened this issue 1 year ago • 2 comments

Hi, 我想问一下Bge-M3 在训练中，处理像NQ这样的问答数据，有没有加一下instruction进行训练呢？因为我直接在训练好的权重上继续训练nq, 发现loss很高

Aug 07 '24 08:08 zwhus

Bge-M3模型没有使用指令

Aug 07 '24 10:08 staoxiao

https://huggingface.co/datasets/Shitao/bge-m3-data 这个如果是训练数据的话，想问下正常的loss大概是多少呢？就比如NQ, 因为我继续训练，loss在4多，我是随机抽取一个负样本

Aug 07 '24 11:08 zwhus