Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

同一台环境下部署了5.22号更新的langchain-chatglm v0.1.13和之前的版本,回复速度明显变慢

Open wdkrdem opened this issue 2 years ago • 6 comments
trafficstars

新langchain-chatglm v0.1.13版本速度很慢

wdkrdem avatar May 23 '23 05:05 wdkrdem

同问题,确实比上一个版本慢不少

jason7323 avatar May 23 '23 06:05 jason7323

+1,求fix

jethand avatar May 23 '23 06:05 jethand

+1

zhubao315 avatar May 23 '23 09:05 zhubao315

虽然之前没有运行过,但是感觉这个版本比较慢,如果实现流式得输出,整个会不会体验更好

wangts108 avatar May 23 '23 12:05 wangts108

同样的问题,22日更新后,int8流式输出至少慢了一半

liunux4odoo avatar May 24 '23 00:05 liunux4odoo

速度慢了很多

wangyuwei92 avatar May 24 '23 09:05 wangyuwei92

慢死了

liuchaofei avatar May 25 '23 08:05 liuchaofei

已更新代码,可以测试一下是否恢复到之前的输出速度。

imClumsyPanda avatar May 25 '23 14:05 imClumsyPanda

已更新代码,可以测试一下是否恢复到之前的输出速度。

刚刚测试过了,速度已经恢复正常。感谢!

liunux4odoo avatar May 25 '23 15:05 liunux4odoo

大佬能不能说下优化了那段代码,想学习下😜

wujianming1996 avatar May 25 '23 15:05 wujianming1996

@wujianming1996 经测试是显存清理那段的问题,降低了速度且对显存优化效果不太明显。就先把流式输出过程中的清理显存那行注释了。

imClumsyPanda avatar May 25 '23 15:05 imClumsyPanda