FastDeploy

FastDeploy copied to clipboard

Reame
Issues

多个推理实例如何在一个GPU上推理

Open Dandelion111 opened this issue 2 years ago • 1 comments

请问多个推理实在一个GPU上推理应该如何设置呢？

Aug 24 '23 12:08 Dandelion111

是服务化推理还是直接推理呢，如果每个推理实例是一个进程，那指定同一张GPU卡就可以吧

Feb 06 '24 08:02 rainyfly