FastDeploy icon indicating copy to clipboard operation
FastDeploy copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

FastDeploy模型、硬件支持计划

Open leiqing1 opened this issue 2 years ago • 46 comments

模型 （CV、NLP、Speech、Cross-modal）

  • [ ] PP-Tracking(Doing)
  • [ ] Robust Video Matting(Doing)

平台& 硬件 （云、边、端）

  • [ ] Android ARM CPU
    • [ ] Picodet(Doing)
    • [ ] PaddleClas(Doing)
  • [ ] RKNN2
    • [ ] YOLOv5(Doing)

如果你希望FastDeploy支持新的AI模型/新硬件，或与FastDeploy共建生态，欢迎提供如下信息我们：

  1. 硬件型号：例如: 晶晨A311D
  2. 操作系统：例如：Linux
  3. 网络名称：例如：PP-PicoDet
  4. 模型链接：例如：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.4/configs/picodet 
  5. 详细描述：例如：希望将PP-PicoDet-M模型用到自己车辆检测场景中实现服务化部署，但是对算法前后处理不理解，部署困难。
  6. 联系方式：[email protected]

leiqing1 avatar Jun 30 '22 08:06 leiqing1

这个只是针对图像类的模型吗？ NLP类的能用不？

datalee avatar Oct 09 '22 00:10 datalee

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

jiangjiajun avatar Oct 14 '22 07:10 jiangjiajun

https://github.com/PaddlePaddle/FastDeploy/issues/369 PP-ShiTu模型

jiangjiajun avatar Oct 14 '22 11:10 jiangjiajun

  • [x] https://github.com/PaddlePaddle/FastDeploy/issues/361 RobustVideoMatting模型（已支持）

jiangjiajun avatar Oct 14 '22 11:10 jiangjiajun

https://github.com/PaddlePaddle/FastDeploy/issues/358 3D目标检测模型

jiangjiajun avatar Oct 14 '22 12:10 jiangjiajun

  • [x] https://github.com/PaddlePaddle/FastDeploy/issues/138 YOLOv5 Classification模型支持(已支持)

jiangjiajun avatar Oct 14 '22 12:10 jiangjiajun

mnn 或ncnn 计划支持么，非常期待

dachengai avatar Oct 15 '22 16:10 dachengai

https://github.com/PaddlePaddle/FastDeploy/issues/373 PPTracking已经支持

jiangjiajun avatar Oct 16 '22 05:10 jiangjiajun

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

有对比过和onnx之间的性能差异吗？

datalee avatar Oct 18 '22 01:10 datalee

请问大佬有对tracking模型和像pphuman 这样的action识别流程的支持计划吗

KRuok avatar Oct 25 '22 09:10 KRuok

https://github.com/PaddlePaddle/FastDeploy/issues/465 YOLOv5-seg

jiangjiajun avatar Nov 01 '22 14:11 jiangjiajun

有没有支持windows 32?

wzy123456wzy avatar Nov 24 '22 05:11 wzy123456wzy

mnn 或ncnn 计划支持么，非常期待

如果有外部开发者有兴趣来做这个事的话，我可以帮忙一起Review和说明如何集成

jiangjiajun avatar Nov 24 '22 05:11 jiangjiajun

Tracking已经集成支持

jiangjiajun avatar Nov 24 '22 05:11 jiangjiajun

有没有支持windows 32?

现在都基本是Windows x64了呢，你在什么场景下还依赖windows 32呢

jiangjiajun avatar Nov 24 '22 05:11 jiangjiajun

paddlex 训练的模型能通过这个部署嘛

acgcc12 avatar Nov 30 '22 05:11 acgcc12

paddlex 训练的模型能通过这个部署嘛

正在支持中

jiangjiajun avatar Nov 30 '22 05:11 jiangjiajun

paddleX 期待

monkeycc avatar Dec 11 '22 06:12 monkeycc

paddleX 期待 +1

dwdcth avatar Dec 13 '22 08:12 dwdcth

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

trefoil0219 avatar Jan 29 '23 08:01 trefoil0219

硬件型号：RK3588 操作系统：Linux 网络名称：PP-TinyPose 模型链接：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5/configs/keypoint/tiny_pose

liutingxi avatar Feb 15 '23 09:02 liutingxi

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

@wang-xinyu

jiangjiajun avatar Feb 15 '23 11:02 jiangjiajun

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

wang-xinyu avatar Feb 16 '23 02:02 wang-xinyu

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux 需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

这部分功能有计划实现python的api吗

trefoil0219 avatar Feb 16 '23 02:02 trefoil0219

@populustremble 有计划，预计3月底之前会有python API

wang-xinyu avatar Feb 16 '23 02:02 wang-xinyu

硬件型号：Nvidia Jetson nano b01 4G 操作系统：Linux(ubuntu)

需求描述：希望FastDeploy支持在nvidia jetson nano上面进行脸部检测的trt部署，现在根据我测试的结果 yolov7face retinaface 模型还不能在nano上面实现trt加速预测功能

qiulongquan avatar Feb 17 '23 03:02 qiulongquan

硬件型号：Nvidia T4 操作系统：Linux

需求描述：strongsort、ocsort、bytetrack、botsort 模型支持

trefoil0219 avatar Feb 24 '23 08:02 trefoil0219

硬件型号：nvidia-smi A40 和A100 操作系统：Linux 模型：paddle的mbart模型 需要mbart模型部署翻译服务接口

Amy234543 avatar Mar 03 '23 01:03 Amy234543

OCR 的 KIE 有支持计划吗？ https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/ppstructure/README_ch.md

sunzhaoyang avatar Mar 03 '23 10:03 sunzhaoyang

硬件型号：昇腾310 操作系统：linux aarch64 网络名称：uie 模型链接： 详细描述：希望将uie模型用到行业的文本信息抽取中，但cpu推理太慢了，期待使用昇腾加速卡进行推理，现在无法部署。 联系方式：18620401618

apexg avatar Mar 14 '23 02:03 apexg