VisualGLM-6B
VisualGLM-6B copied to clipboard
打字机页面推理速度很慢
web_demo_hf.py 推理速度很慢,比web_demo.py推理速度慢很多; 于是我直接在 Jupyter 配置同样的代码跑hugging face的模型,去掉网页后推理速度是没问题的,但是在网页上推理速度就很慢,实在不知道为什么了,对gradio不是非常熟悉
请使用最新版本仓库代码试试,最近优化了一下no_grad处的逻辑,应该解决这个问题了。
请使用最新版本仓库代码试试,最近优化了一下no_grad处的逻辑,应该解决这个问题了。
没有解决,依然很慢