VisualGLM-6B icon indicating copy to clipboard operation
VisualGLM-6B copied to clipboard

打字机页面推理速度很慢

Open dpcross opened this issue 2 years ago • 2 comments

web_demo_hf.py 推理速度很慢,比web_demo.py推理速度慢很多; 于是我直接在 Jupyter 配置同样的代码跑hugging face的模型,去掉网页后推理速度是没问题的,但是在网页上推理速度就很慢,实在不知道为什么了,对gradio不是非常熟悉

dpcross avatar May 22 '23 11:05 dpcross

请使用最新版本仓库代码试试,最近优化了一下no_grad处的逻辑,应该解决这个问题了。

Sleepychord avatar May 23 '23 16:05 Sleepychord

请使用最新版本仓库代码试试,最近优化了一下no_grad处的逻辑,应该解决这个问题了。

没有解决,依然很慢

dizhenx avatar May 26 '23 08:05 dizhenx