EMO icon indicating copy to clipboard operation
EMO copied to clipboard

emo_loss 会变成nan

Open zzf-damon opened this issue 1 year ago • 5 comments

您好,请教一下。 我再qwen 上使用这个loss,进行的是下游任务的微调,原本的loss 是 mle。 使用的是: EMO/language_modeling/gpt2.py 中的emo 。

他在训练的过程中会出现这样的现象: image

以及:

image

请问这个情况大概是为什么?

zzf-damon avatar Jan 17 '24 03:01 zzf-damon