FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard
verified publisher icon PaddlePaddle

请问下，现在多卡流式推理的功能可以使用了吗

Open liuzhipengchd opened this issue 2 years ago • 1 comments

使用2个显卡流失推理chatglm6b模型，提供web服务。

liuzhipengchd avatar Aug 08 '23 06:08 liuzhipengchd

可以参考这份代码，使用tritonserver来部署 https://github.com/PaddlePaddle/FastDeploy/tree/llm/llm

rainyfly avatar Feb 06 '24 09:02 rainyfly