使用xinference自带聊天页面与大模型交流，特别卡

[lm970585581]

System Info / 系統信息

使用ubuntu系统，显卡A6000，直接使用pip安装

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• [ ] docker / docker
• [X] pip install / 通过 pip install 安装
• [ ] installation from source / 从源码安装

Version info / 版本信息

v0.14.0.post1

The command used to start Xinference / 用以启动 xinference 的命令

nohup xinference-local --host 0.0.0.0 --port 9997 &

Reproduction / 复现过程

1.启动xinference服务，之后使用xinference页面正常启动qwen1.5-32B-AWQ大模型 2.在页面中点击打开聊天页面，进行提问，回复特别卡，如下图： 3.使用api调用的方式，大模型可以正常提供服务，不会卡顿 4.过了差不多一上午的时间，再次进入页面提问，会报错，但报错之后，再次提问，回复不再卡顿了。但不知道为什么会这样，报错的截图如下：

Expected behavior / 期待表现

启动xinference服务后，启动模型，在页面问答直接不会卡顿，不要等很久之后，报错之后再恢复正常。

[qinxuye]

感觉和 gradio 本身安装有关。试着重新装下 gradio 试下。

[lm970585581]

这个是我本地的gradio版本： gradio有版本要求吗

[lm970585581]

今天新创建了一个conda的虚拟环境，python3.11，用pip安装xinference之后，依然存在这个问题，可以排除我本地操作安装依赖有问题的情况

[lm970585581]

补充一下日志： Traceback (most recent call last): File "/home/jqxxuser/miniconda3/envs/xinf/lib/python3.11/site-packages/gradio/routes.py", line 695, in predict output = await route_utils.call_process_api( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/jqxxuser/miniconda3/envs/xinf/lib/python3.11/site-packages/gradio/route_utils.py", line 260, in call_process_api with utils.MatplotlibBackendMananger(): File "/home/jqxxuser/miniconda3/envs/xinf/lib/python3.11/site-packages/gradio/utils.py", line 956, in __exit__ matplotlib.use(self._original_backend) File "/home/jqxxuser/miniconda3/envs/xinf/lib/python3.11/site-packages/matplotlib/__init__.py", line 1255, in use plt.switch_backend(name) File "/home/jqxxuser/miniconda3/envs/xinf/lib/python3.11/site-packages/matplotlib/pyplot.py", line 423, in switch_backend raise ImportError( ImportError: Cannot load backend 'tkagg' which requires the 'tk' interactive framework, as 'headless' is currently running 另外这个报错很久才会出来，目前没有找到什么时候会触发这个报错，但是只有这个报错出现后，卡顿的问题才会解决

[github-actions[bot]]

This issue is stale because it has been open for 7 days with no activity.

[github-actions[bot]]

This issue was closed because it has been inactive for 5 days since being marked as stale.

[lm970585581]

怎么自动关闭了，问题没有解决呀

[qinxuye]

没有活跃的讨论被自动关闭了吧，好像除了这个 issue 没有其他人反馈过这个问题，我们也无法复现。

[moushengwang]

我也遇到了这个问题，后来是怎么解决的？

[lm970585581]

我也遇到了这个问题，后来是怎么解决的？

我升级到最新版本没有这个问题了，也不知道怎么解决的

[moushengwang]

是升级了gradio的版本嘛？还是docker镜像的版本？

[lm970585581]

是升级了gradio的版本嘛？还是docker镜像的版本？

我没用docker，直接pip安装升级的，不是升级gradio版本，是升级xinference版本