deepvac
deepvac copied to clipboard
[BUG] 转换的TNN模型在华为麒麟处理器上opencl(GPU)比cpu速度慢
bug描述 我们将ESP网络转换成TNN模型部署在华为手机上和骁龙处理器手机上。在骁龙处理器手机上,GPU/opencl 是cpu模型推理速度的2倍,而在华为麒麟980手机上,GPU/opencl 比cpu模型推理速度还要慢(从13fps下降到10fps)。
如何复现 复现步骤:
- config.py 中配置ESP网络,打开转换TNN模型的开关;
- 运行test.py输出TNN模型;
- 集成到安卓项目中,然后安装到华为麒麟980手机上;
- 测试摄像头输入时的fps速度。
预期结果 华为麒麟980手机上,GPU/opencl 应该大于等于cpu的推理速度。
截图 如果有必要的话,请添加截图。
如果使用的是MLab HomePod,请填写
- 宿主机 cpu/ram/cuda设备: intel i9-9820X/32GB/RTX2080ti
- 宿主机操作系统/内核版本/GPU驱动:ubuntu 20.04/5.4.0-74-generic/460.80
- MLab HomePod版本 : 2.0-pro