MNN CUDA后端benchmark运行时间为零且无其他反馈
您好,
我使用最新的MNN2.8.1的benchmark(CUDA后端)运行我的模型, 推理结果仅仅显示了avg=0.000ms。感觉应该是模型没有推理就结束了。麻烦可以在benchmark运行的时候支持下在终端提示模型为什 么无法进行推理的原因嘛?
谢谢回复!
可以试下测试 cpu benchmark ,这个大概率是初始 shape 为 0 ,需要重设 shape
建议参考 https://mnn-docs.readthedocs.io/en/latest/tools/test.html 用 ModuleBasic.out 来测单个模型运行速度
可以试下测试 cpu benchmark ,这个大概率是初始 shape 为 0 ,需要重设 shape
因为项目需要目前只考虑在CUDA后端运行。我之前用了个dynamic_axes的输入的模型来跑benchmark,这样不对。现在用确定的输入的模型跑最新版本的benchmark,它告诉我the creator don't support type ConvolutionDepthwise。麻烦问下CUDA后端目前还不支持Depthwise Conv嘛?谢谢
可以先采用CPU测试一下,保证下测试流程正确性。CUDA目前支持单输入的ConvolutionDepthwise
Marking as stale. No activity in 60 days.