推理速度有点慢，有什么好方法吗？

[decoder666]

[xiaoguaishoubaobao]

不懂就问 有多慢?

[guillaumexu]

我的也很慢，虽然我的显卡比较老（是M40），但是chatglm上跑的也挺快的。而且input一大就内存不够报错了，但我的显存有24g也不算小了。