bge-large-zh 在微调中loss间接出现0.0，这是正常现象吗？

[128Ghe980]

train下来的模型是可以用的，单纯想问一下

[staoxiao]

不是一直都是0，看起来是正常的。 但是，loss很小，说明这个任务过于简单了，模型可能无法学到太多东西。建议增加batch size，以及挖掘难样本，提高任务难度。

[128Ghe980]

不是一直都是0，看起来是正常的。 但是，loss很小，说明这个任务过于简单了，模型可能无法学到太多东西。建议增加batch size，以及挖掘难样本，提高任务难度。

ok,谢谢提醒

[128Ghe980]

不是一直都是0，看起来是正常的。 但是，loss很小，说明这个任务过于简单了，模型可能无法学到太多东西。建议增加batch size，以及挖掘难样本，提高任务难度。

我算力不是太够，batchsize没法提高了，请问项目支持梯度累计吗？

[staoxiao]

不是一直都是0，看起来是正常的。 但是，loss很小，说明这个任务过于简单了，模型可能无法学到太多东西。建议增加batch size，以及挖掘难样本，提高任务难度。

我算力不是太够，batchsize没法提高了，请问项目支持梯度累计吗？

支持，但是梯度累积无法增加neg负样本数量，意义不大。可以增加负样本难度。