yolov5_prune 剪枝后模型推理速度没有提升

剪枝后模型推理速度没有提升

Open ztrong-forever opened this issue 3 years ago • 6 comments

大佬您好，按照您的流程走下来，利用8通道剪枝策略，推理速度和原版几乎没有改变。显卡2080ti,请问这是为什么啊

Jan 12 '22 05:01 ztrong-forever

加速体现在开发版上，显卡上瓶颈在未达到算力顶峰时为数据复制粘贴耗时

Jan 17 '22 01:01 ZJU-lishuang

感谢大佬解答！还有一个问题，您的剪枝算法后的模型结构没有发生改变，剪掉的参数变为0，是不是0的数值计算要比常规数值要快。能够加速是不是体现在这呢

Jan 17 '22 01:01 ztrong-forever

我都重新生成cfg文件了，模型结构怎么没变

Jan 17 '22 01:01 ZJU-lishuang

你说的是yolov5官方提供的非结构化剪枝吧，这里是结构化剪枝。

Jan 17 '22 01:01 ZJU-lishuang

好的大佬!感谢解答！！！

Jan 17 '22 02:01 ztrong-forever

大佬您好！！可以加个微信嘛，我太想向您请教一下细节了，拜托拜托，有偿请教，万分感谢大佬！！微信号：zt18756192838

Jan 18 '22 10:01 ztrong-forever