Serving icon indicating copy to clipboard operation
Serving copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

多个独立模型启动serving服务

Open gitmhg opened this issue 1 year ago • 1 comments

paddle-serving-app 0.9.0 paddle-serving-client 0.9.0 paddle-serving-server 0.9.0 paddlepaddle 2.4.2 Linux ubuntu 20.04 你好，我现在有100个独立的模型，我想为这100个独立的模型同时启动推理服务，我尝试了pipline和web service,但是还是占用资源太大了，模型本身并不大，只是模型之外的框架解释器之类的占用太多了，我应该怎末启动服务才能最节省内存资源？期待您的回复

gitmhg avatar Mar 20 '23 07:03 gitmhg

image 打扰了 ，请教下，这里应该怎么修改配置 ， 目前提交请求后服务端报错 image

whisky-12 avatar Mar 24 '23 09:03 whisky-12