MNN icon indicating copy to clipboard operation
MNN copied to clipboard

MNN CUDA后端benchmark运行时间为零且无其他反馈

Open wwiwush opened this issue 1 year ago • 4 comments

您好,

我使用最新的MNN2.8.1的benchmark(CUDA后端)运行我的模型, 推理结果仅仅显示了avg=0.000ms。感觉应该是模型没有推理就结束了。麻烦可以在benchmark运行的时候支持下在终端提示模型为什 么无法进行推理的原因嘛?

谢谢回复!

wwiwush avatar Jan 05 '24 12:01 wwiwush

可以试下测试 cpu benchmark ,这个大概率是初始 shape 为 0 ,需要重设 shape

jxt1234 avatar Jan 06 '24 12:01 jxt1234

建议参考 https://mnn-docs.readthedocs.io/en/latest/tools/test.html 用 ModuleBasic.out 来测单个模型运行速度

jxt1234 avatar Jan 06 '24 12:01 jxt1234

可以试下测试 cpu benchmark ,这个大概率是初始 shape 为 0 ,需要重设 shape

因为项目需要目前只考虑在CUDA后端运行。我之前用了个dynamic_axes的输入的模型来跑benchmark,这样不对。现在用确定的输入的模型跑最新版本的benchmark,它告诉我the creator don't support type ConvolutionDepthwise。麻烦问下CUDA后端目前还不支持Depthwise Conv嘛?谢谢

wwiwush avatar Jan 12 '24 09:01 wwiwush

可以先采用CPU测试一下,保证下测试流程正确性。CUDA目前支持单输入的ConvolutionDepthwise

bitxsw93 avatar Jan 25 '24 10:01 bitxsw93

Marking as stale. No activity in 60 days.

github-actions[bot] avatar Mar 26 '24 09:03 github-actions[bot]