chenjian

icon indicating an email [email protected]

icon company Baidu

Results 254 comments of chenjian

RKNPU2 rga支持

已收到您的反馈建议

请问下，现在多卡流式推理的功能可以使用了吗

可以参考这份代码，使用tritonserver来部署 https://github.com/PaddlePaddle/FastDeploy/tree/llm/llm

如何启动一个模型下面多个版本的模型

底层用的是trionserver，如果确实每次只能启动一个version，可以去tritonserver提个issue问一下

Unet RKNN 3588 推理结果错误

目前应该没有

人脸识别余弦距离公式疑惑

可能是参考PaddleDetection的，建议去这里请教更专业的人士

【jetson nano】【python3.10】编译时报错 Installing 'fastdeploy.libs.third_libs.onnxruntime.lib' as data is deprecated, please list it in `packages`.（执行时也报错）

（之前在同样硬件，python3.6 以及官方提供的paddle inference 包编译安装后，都可执行正常）编译时候代码commit也是一样的么

Triton backend如何选择

emsemble的应用场景是多个模型的输入和输出互相衔接组合起来使用形成一个pipeline。python backend主要是可以将所有的推理代码自己用python脚本表示，可能会更加灵活一点，适用于需要自己有很多自定义逻辑的场景。

模型推断有关问题

支持的，可以参考serving目录的示例https://github.com/PaddlePaddle/FastDeploy/tree/develop/examples/vision/detection/paddledetection/serving

[Bug]: UTC模型部署：Fastploy有错误，暂未解决 Segmentation fault

收到您的反馈，后续我们定位一下问题

[WARNING] fastdeploy/runtime/runtime_option.cc(58)::fastdeploy::RuntimeOption::UseGpu The FastDeploy didn't compile with GPU, will force to use CPU.

看起来像是WITH_GPU这个编译选项没有生效