FastDeploy

FastDeploy copied to clipboard

What's the difference between FastDeploy and PaddleServing?

1

What's the difference between FastDeploy and PaddleServing?

Awezome

Triton backend如何选择

1

[FastDeploy 服务化部署](https://github.com/PaddlePaddle/FastDeploy/blob/develop/serving/README_CN.md)中提到的[PaddleDetection](https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/detection/paddledetection/serving/README.md)、[PaddleClas](https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/classification/paddleclas/serving/README.md)等使用的是Model Ensembles方案，[PaddleSpeech/PP-TTS](https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/audio/pp-tts/serving/README.md)和[PaddleNLP/UIE](https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/text/uie/serving/README.md)使用是python backend方案。 请问： 1. 示例中使用了两种不同的部署方式：Model Ensembles部署和python backend部署，这是出于哪些方面的考量？ 2. 使用Model Ensembles部署的示例中的`models/runtime`模型使用的backend是fastdeploy。那么，直接使用fastdeploy_backend相较于[triton-inference-server/backend](https://github.com/triton-inference-server/backend)提到的backend（比如paddlepaddle_backend或onnxruntime_backend，同样支持TRT、CUDA、CPU、OpenVINO）有那些好处？

firedent

如何启动一个模型下面多个版本的模型

1

采用fastdeploy起triton的模型服务的时候，指定了model-repo的路径，里面模型有两个版本的模型，但是模型启动的时候只启动了随机的一个版本  上图的两个红框都有两个版本的模型，但是只启动了其中一个

yywangfei

请问下，现在多卡流式推理的功能可以使用了吗

1

使用2个显卡流失推理chatglm6b模型，提供web服务。

liuzhipengchd

RKNPU2 rga支持

1

rkyolo方案中前端图片resize处理，是否考虑使用瑞芯微rga库进行加速。

alexw914

如何进行模型加密,必须要有密钥才能加载模型

1

如何进行模型加密, 必须要有密钥才能加载模型 比如训练好的模型 进行加密 加密完成 给 模型 和 密钥 C++ C# python 这些 才能正常调用 希望官方能提供 加密模型 加盐 生成密钥 给别人用的时候 只需要给密钥就行了

monkeycc

使用fastdeploy的推理流程出现报错

1

********************************************* 温馨提示：根据社区不完全统计，按照模板提问，可以加快回复和解决问题的速度 ********************************************* ## 环境 - 【FastDeploy版本】： 说明具体的版本，如fastdeploy-linux-gpu-0.8.0 - 【编译命令】如果您是自行编译的FastDeploy，请说明您的编译方式（参数命令） - 我的数据shape==（1，20，560） - tcmalloc: large alloc 1099511627776 bytes == (nil) @ 0x44c6ee 0x46a9f4 0x46ad4c 0x7f6b223669d5 tcmalloc: large alloc 989560438784 bytes...

David19970306

C# Fastdeploy部署人像抠图功能

1

C# Fastdeploy部署好像人像抠图功能没有提供接口，或者是提供接口了但是没有找到。希望有哪位大能能告知如何配置C#可以调用的人像抠图的接口

yangyunyi

请问openvino怎么进行int8量化

1

yolov5使用OpenVINO没有找到可以进行int8量化的配置 参考文档https://github.com/PaddlePaddle/FastDeploy/blob/4e9bcc37183a8c4874551517c840d8078e31cfc3/serving/docs/zh_CN/model_configuration.md

safehumeng

FastDeploy Streamer 容器内编译时报错

1

## 环境 - 【硬件】：   - 【容器的宿主机环境】: Windows x64(Windows10) 21H2 19044.1586, WSL-Ubuntu-20.04, Docker version 24.0.2, build cb74dfc - 【编译库】: fastdeploy-linux-x64-1.0.7 ## 按[文档](https://github.com/PaddlePaddle/FastDeploy/blob/release/1.0.7/streamer/README_CN.md)进行编译报错 ```shell ©°©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©¤©´ ©¦ ? MobaXterm Personal Edition...

BingerOne