提问：我启动之后随便说个你好，chatglm回答的速度特别慢是为什么呢？

[qflxy]

trafficstars

上面是我的启动参数和启动之后的界面，每次输入一个问题之后要等几分钟才会得到结果

[cjld]

第一次运行需要需要编译，之后应该就不需要了，速度和readme里的截图差不多

[qflxy]

第一次运行需要需要编译，之后应该就不需要了，速度和readme里的截图差不多

第一次编译之后运行速度还是很慢，显存占用也有，

[cjld]

请问您用的是什么显卡，我这边用3090每秒应该能超过20个token

[cjld]

显存不够就是会很慢的

[qflxy]

我用的是2060，因为我看您在readme里面说的是成本低，没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署，所以我就设置了上限4g显存和16g内存进行尝试，

[cjld]

不同机器根据环境速度也会有差异的，我们实测4G的显卡大概一秒出1~2个字左右，后续还将不断优化该模型库

[qflxy]

好的，我这边虽然速度慢，但是确实可以运行起来，这对我们这些小显存确实大有帮助，谢谢，期待你们的后续优化

[cjld]

谢谢您的支持，后续我们会针对2060这类小显存的显卡做一些针对性的优化，有望提升1-2倍速度

[philipxiaoxi]

1060 6G 确实比较慢。大概一秒出1~2个字左右。

[glacierck]

限制了8G内存，无显卡，10分钟才出3个字。。。。。

[TcDhlPro]

不同机器根据环境速度也会有差异的，我们实测4G的显卡大概一秒出1~2个字左右，后续还将不断优化该模型库

3分36秒