gemma2-9b-it模型部署推理异常

[niceyida]

System Info / 系統信息

Ubuntu 22.04.4 LTS python 3.10 transformer 4.43.0 cuda 12.0 torch 2.3.0 vllm 0.4.3

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• [ ] docker / docker
• [X] pip install / 通过 pip install 安装
• [ ] installation from source / 从源码安装

Version info / 版本信息

xinference 0.13.2

The command used to start Xinference / 用以启动 xinference 的命令

xinference-local --host 0.0.0.0 --port 9997

Reproduction / 复现过程

1.启动xinference xinference-local --host 0.0.0.0 --port 9997 2.添加注册模型 3.启动模型 4.测试模型效果

Expected behavior / 期待表现

我使用xinference运行了多个模型，只有gemma2的部署推理效果不对，也尝试了更新模型代码，更新xinference代码，更新transformer的版本，问题都没有得到解决，所以在这里请教一下是我这边启动方式有误，还是对于gemma2的支持有问题，还望能帮忙解答一下