alanbeen

> 大显存的高端GPU才能跑起来。。7b能在合理时间内回复就谢天谢地了。。还13b， 你知道A10 24G显存响应速度会有多快，打算买个好些的服务器

> 可以去掉--cpu使用GPU推理，具体操作文档还请参考[webui docs](https://github.com/oobabooga/text-generation-webui/tree/main/docs) 我的是没有GPU的centos阿里云服务，你有尝试过GPU要多少跑的会快些的吗

> 我使用1张24GB的3090，在7b上面推理，大部分响应在1~3秒，个别会长一点。单人使用算是能接受的范围。 13B的话正常推理会慢一半吧

我也一样