Langchain-Chatchat icon indicating copy to clipboard operation
Langchain-Chatchat copied to clipboard

Published 20 hours ago • verified publisher icon chatchat-space

多卡部署

Open ZTurboX opened this issue 2 years ago • 2 comments
trafficstars

用单机多卡或多机多卡，fastapi部署模型，怎样提高并发

ZTurboX avatar May 12 '23 05:05 ZTurboX

可能可以通过每个卡部署一个chatglm模型，并单独执行一个api，再通过消息队列分配到各卡执行的方式避免并发消息的等待处理时长过长

imClumsyPanda avatar May 14 '23 01:05 imClumsyPanda

可能可以通过每个卡部署一个chatglm模型，并单独执行一个api，再通过消息队列分配到各卡执行的方式避免并发消息的等待处理时长过长

不能多卡部署一个模型吗？然后并发请求一个端口

dizhenx avatar May 24 '23 02:05 dizhenx

请问你做到了吗？你现在的并行部署方案是啥啊

Gy1900 avatar Jul 03 '23 01:07 Gy1900

请问你做到了吗？你现在的并行部署方案是啥啊

每张卡单独起个服务，用nginx做负载均衡

ZTurboX avatar Jul 03 '23 02:07 ZTurboX