FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard

如何启动一个模型下面多个版本的模型

Open yywangfei opened this issue 11 months ago • 1 comments

采用fastdeploy起triton的模型服务的时候,指定了model-repo的路径,里面模型有两个版本的模型,但是模型启动的时候只启动了随机的一个版本 image 上图的两个红框都有两个版本的模型,但是只启动了其中一个

yywangfei avatar Aug 07 '23 08:08 yywangfei

底层用的是trionserver,如果确实每次只能启动一个version,可以去tritonserver提个issue问一下

rainyfly avatar Feb 06 '24 09:02 rainyfly