FastDeploy
FastDeploy copied to clipboard
PaddlePaddle
自行编译的FastDeploy，部署NVIDIA Gpu PPOCR时只有cuda11.2版本能运行，但仍然有报错
环境
- 【编译命令】：自行编译的FastDeploy，编译方式使用vs2019(x64 Native Tools Command Prompt for VS 2019)
GPU版
cmake .. -G "Visual Studio 16 2019" -A x64 -DENABLE_PADDLE_BACKEND=ON
-DENABLE_VISION=ON
-DENABLE_TEXT=ON
-DWITH_GPU=ON
-DCUDA_DIRECTORY="D:\cuda"
-DCMAKE_INSTALL_PREFIX="D:\Paddle\compiled_fastdeploy_cuda11.2"
msbuild fastdeploy.sln /m /p:Configuration=Release /p:Platform=x64
msbuild INSTALL.vcxproj /m /p:Configuration=Release /p:Platform=x64
CPU版
cmake .. -G "Visual Studio 16 2019" -A x64 -DENABLE_OPENVINO_BACKEND=ON
-DENABLE_VISION=ON
-DENABLE_TEXT=ON
-DCMAKE_INSTALL_PREFIX="D:\Paddle\compiled_fastdeploy_cpu" msbuild fastdeploy.sln /m /p:Configuration=Release /p:Platform=x64 msbuild INSTALL.vcxproj /m /p:Configuration=Release /p:Platform=x64 - 【系统平台】：Windows10 x64 Intel(R) Xeon(R) Silver 4110 CPU
- 【硬件】：Nvidia GPU RTX 2070， CUDA 11.2.0， CUDNN 8.2.0 ，最高cuda版本支持12.2
- 【编译语言】： C++
推理
- 【推理代码】 https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/ocr/PP-OCR/cpu-gpu/cpp/infer.cc 推理模型使用的是ch_PP-OCRv3系列
- 【CPU版推理】： 单张图片推理结果没有问题，使用opencvVINO推理框架，输入尺寸640*480，循环跑速度200ms左右
- 【GPU版推理】：
单张图片推理结果没有问题，但是有个CUDA释放错误(乱码是cmd编码问题，不影响CUDA报错)，使用飞浆推理框架，输入尺寸640*480，循环跑速度140ms左右
- 【尝试解决】 用的是官方的代码，代码肯定没有问题，尝试其他cuda版本(cuda11.5.2，cudnn8.3.3)(cuda11.6.0,cudnn8.4.0),在运行demo时都出现另一个错误，程序跑不起来，忘了截图 Could not load library cudnn_cnn_infer64_8.dll. 我把cudnn_cnn_infer64_8.dll放到当前目录了不行，下载了zlibwapi.dll放在exe当前目录和配置环境变量不行，保持cuda版本不动使用了几个其他版本的cudnn_cnn_infer64_8.dll不行
问题
- 【问题请教】 三个问题请教大佬，折腾好几天没有解决 1.(cuda11.2.0,cudnn8.2.0)的报错CUDA error(4), driver shutting down有什么思路吗 2.(cuda11.5.2，cudnn8.3.3)(cuda11.6.0,cudnn8.4.0)的报错Could not load library cudnn_cnn_infer64_8.dll.有什么思路吗 3.GPU版demo发送到另外一台机子跑，速度变成了500ms，他的显卡是1070，是显卡的原因吗
