RuntimeError: probability tensor contains either inf, nan or element < 0

[HiXiaochen]

在A100上进行batch测试时没有问题，换到A10上会报错，打印出来next token logits，padding部分对应的输出值是nan。采用的是left padding，pad值为0，请问这是什么原因导致的呢？ infer代码： messages = ['<reserved_106>' + f"原始输入文本" + '<reserved_107>' for data in messages] res = tokenizer(messages, padding=True) input_ids_list = res['input_ids'] input_ids = torch.LongTensor(input_ids_list).to(model.device) outputs = model.generate(input_ids=input_ids)

报错：

[blueskyban]

你好，我在A100上跑，cli_demo时就报probability tensor contains either inf, nan or element < 0这个错误了，你的问题解决了么，你在cli_demo时是正常的？

[shichaoYan]

你好，我现在在A10上遇到了同样的问题，请问你的错误解决了吗？