Nick Peng
Nick Peng
你选了cpu的推理,要选ascend的
modelbox-tool driver -info -details 看看输出,应该是没要找到mindspore的库
没有mindspore的东西。 modelbox是你自己编译,还是镜像里面带的?
还有你是怎么进入镜像的?你ssh看看,有可能缺少环境变量。
ldd看一下mindspore-flowunit.so文件的依赖是否满足。 这些镜像每日构建都在运行,可能你容器mount的目录屏蔽了什么,导致找不到mindspore的库
从提示看,是缺少cpu版本的mindspore推理引擎。镜像自带的一般是NPU版本的mindspore,如果要用CPU推理,则需要安装CPU版本的mindspore。
如果想用ascend推理: 先要在hostOS中安装ascend的驱动。 然后用用下面的命令启动容器:https://modelbox-ai.com/modelbox-book/environment/container-usage.html ``` # ascend npu card id [modify] ASCEND_NPU_ID=0 docker run -itd --device=/dev/davinci$ASCEND_NPU_ID --device=/dev/davinci_manager \ --device=/dev/hisi_hdc --device=/dev/devmm_svm \ --tmpfs /tmp --tmpfs /run -v /sys/fs/cgroup:/sys/fs/cgroup:ro \ --name $CONTAINER_NAME -v...
你改下推理单元的设备类型,改成ascend。
这两天增加。可以问一下你是什么场景使用modelbox-serving吗?
这个是模型serving的,类似TF-Serving,如果部署服务,就是modelbox进程就可以。