RuntimeError: probability tensor contains either inf, nan or element < 0

[RobinRush]

System Info / 系統信息

cuda: 12.2（安装的pytorch是cuda-12.1的） transformers：4.44.0 python：3.10 OS：kylinV10 显卡是：NVIDIA A100-SXM4-40GB（隔壁有问是不是这个问题，所以一并列出：https://github.com/QwenLM/Qwen2-VL/issues/44 ）

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [X] The official example scripts / 官方的示例脚本
• [X] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1、我下载了huggingface上面的model 2、通过U盘传到了内网中。确认了md5值，没有修改过。 3、按照requirements.txt中的安装了一遍。 4、修改trans_cli_demo.py中模型路径THUDM/glm-4-9b-chat为/root/glm-4-9b-chat(本地的，也显示加载了） 5、运行trans_cli_demo.py

显示 RuntimeError: probability tensor contains either inf, nan or element < 0

Expected behavior / 期待表现

发送hi，能回复一句正常对话。