FlagEmbedding bge-large-zh预训练

bge-large-zh预训练

Open zemu121 opened this issue 1 year ago • 5 comments

用自己的数据对bge-large-zh进行预训练，如何在训练过程中对测试集进行loss计算

Dec 28 '23 04:12 zemu121

实际上，我们判断预训练的好坏，是在下游任务上微调向量模型，测试排序指标。

Dec 28 '23 11:12 staoxiao

在预训练的时候，用准备好的全部数据进行训练，不用提前划分训练集和测试集，是这个意思吧另外在微调的时候，是不是也是同样的步骤呢

Dec 29 '23 01:12 zemu121

预训练的时候不用，微调的时候需要，要根据测试集效果选择setting和模型。

Dec 29 '23 02:12 staoxiao

在微调训练过程中，参数设置部分，注明哪些是train哪些是test吗还是说提前划分好train和test，在训练过程中，参数只注明训练的数据是谁，等模型训练结束后，再在test上评估模型

Dec 29 '23 02:12 zemu121

训练时只需要训练数据，等训练结束后进行测试，测试https://github.com/FlagOpen/FlagEmbedding/tree/master/examples/finetune#6-evaluate-model可以参考

Dec 29 '23 09:12 staoxiao