heliqi
heliqi
DLL是怎么编译的 ，比如Init接口、报错的ModelPredict接口怎么写的？
配置有换成GPU吗？ TensorRT只能跑在GPU上， 比如配置改成如下: instance_group [ { count: 1 kind: KIND_GPU gpus:[0] } ] runtime的config配置可以参照这个文档，有详细介绍: https://github.com/PaddlePaddle/FastDeploy/blob/develop/serving/docs/zh_CN/model_configuration.md
是哪个模型？有删掉重新拉最新的镜像吗（中间有更新）？我这边测试yolo是可以的启动的 如果是最新镜像，麻烦提供下模型，我这边验证下
> 目前c++ sdk的方式调用，是不是客户端的代码都需要用C++重新写一遍？ @AI-Mart 不需要。 客户端支持使用python发送grpc或http请求
已经支持服务化部署： https://github.com/PaddlePaddle/FastDeploy/tree/develop/serving
Clone方式可以减少内存消耗: 模型: ResNet50_vd 配置: 开启CPU、4线程 | 实例数 | Clone模式 | 不Clone模式 | | ------------- | ------------- | ------------- | | 1 | 301M | 301M | | 2 | 301M...
OpenVINO使用Clone+设置num_stream(参数实例数量一致) 可以显著提升性能: 并发数 | OpenVINO(优化后) | OpenVINO(优化前) | 对比 -- | -- | -- | -- | 2实例 2streams设置16线程 | 2实例设置16线程 | 1 | 79.622 ms | 77.828 ms |...
TRT Backend 模型: Yolov5 配置: 开启GPU TRT 2个实例 | 资源消耗 | Clone模式(同一张卡) | 不Clone模式 | | ------------- | ------------- | ------------- | | 内存 | 1.6G | 1.7G | |...
Temporary solution: ``` im_list = [im, im, im] for i in range(im_list): model.predict(i) ``` or ``` im_numpy = np.array([im, im]) for i range(len(im_numpy)): model.predict(im_numpy[i]) ```
请问你是怎么使用和链接预测库的？ 最新2.3的预测库需要额外链接paddle2onnx + onnxruntime的库， 具体链接可以参考inference的demo： https://github.com/PaddlePaddle/Paddle-Inference-Demo/blob/d6c1aac35fa8a02271c9433b0565ff0054a5a82b/c%2B%2B/lib/CMakeLists.txt#L43 也可以直接运行这个demo试试： https://github.com/PaddlePaddle/Paddle-Inference-Demo/tree/d6c1aac35fa8a02271c9433b0565ff0054a5a82b/c%2B%2B/paddle-onnxruntime