CPM-Bee icon indicating copy to clipboard operation
CPM-Bee copied to clipboard

推理速度有点慢,有什么好方法吗?

Open decoder666 opened this issue 2 years ago • 2 comments

decoder666 avatar May 29 '23 17:05 decoder666

不懂就问 有多慢?

xiaoguaishoubaobao avatar Jun 08 '23 11:06 xiaoguaishoubaobao

我的也很慢,虽然我的显卡比较老(是M40),但是chatglm上跑的也挺快的。而且input一大就内存不够报错了,但我的显存有24g也不算小了。

guillaumexu avatar Jul 04 '23 08:07 guillaumexu