FlagEmbedding 预训练bge large 1.5，loss可以低到多少

预训练bge large 1.5，loss可以低到多少

Open adol001 opened this issue 1 year ago • 1 comments

loss到了4以后，再下降的速度就让人心焦，以此时的encoder model进行cmteb评测，分数很低预训练loss下降到多少可以进行finetune？求开发者提示一下，当时你们用3台a100训练了多长时间？

Dec 26 '23 15:12 adol001

预训练loss降不到很低。我们大概训了4天左右。

Dec 27 '23 09:12 staoxiao

预训练的loss你们最后超过1了吗，我在4左右降不下去了哇

Mar 29 '24 08:03 zeruiz99

预训练的loss你们最后超过1了吗，我在4左右降不下去了哇

降到4以下了，没降到1以下

Mar 29 '24 09:03 adol001

预训练的loss你们最后超过1了吗，我在4左右降不下去了哇

降到4以下了，没降到1以下

epoch需要放大会比较好吗，数据集89万条这样

Mar 29 '24 09:03 zeruiz99

你们用89万数据就降到4了？过拟合了吧

Mar 30 '24 06:03 adol001

你们用89万数据就降到4了？过拟合了吧

4.45，用的数据类型很垂直

Mar 30 '24 07:03 zeruiz99