ncnn_on_esp32 icon indicating copy to clipboard operation
ncnn_on_esp32 copied to clipboard

使用esp32-s3跑量化前后的模型,量化后推理速度反而慢了!

Open woshing700 opened this issue 8 months ago • 2 comments

使用与esp32-c6性能相近的esp32-s3跑了量化后的模型代码,推理速度以及计算结果跟大佬知乎上很接近!

{9BB7C5AB-3EC6-458f-9A66-771E6A8D4721}

(上图是知乎结果,下图是我跑的)推理结果一摸一样的,速度也接近

量化后

我又用量化前的模型跑了一遍,发现反而是量化前的推理速度更快!

真的懵了!

{69375BCE-669F-4574-B9F9-06F7E3EFFF04}

量化前跑出来结果也跟知乎一样的,但速度差别很大!

量化前后

代码链接:https://github.com/nihui/ncnn_on_esp32/tree/master/main {01542BB8-1B34-44f8-8D0E-AEBFBDE52873}

woshing700 avatar Jun 04 '24 11:06 woshing700