微调量化后qwen1half-14b-chat-gptq-int8推理时向量报错RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

[AnsongLi]

基座模型qwen1half-14b-chat，使用lora微调合并后量化qwen1half-14b-chat-gptq-int8。 目前在推理时报错： RuntimeError: probability tensor contains either inf, nan or element < 0 在使用你们开源的模型Qwen1___5-14B-Chat-GPTQ-Int4时没有报错，但是同样的Qwen1___5-14B-Chat-GPTQ-Int8也报上述相同的错误。 开源的模型transformer版本为4.37.0，我环境的版本4.39.3，torch 2.2.2。

具体原因是什么？该怎么解决这个问题呢？