PAGCP icon indicating copy to clipboard operation
PAGCP copied to clipboard

剪枝后推理速度

Open Lz000613 opened this issue 2 years ago • 2 comments

作者您好,我使用您的框架进行剪枝,参数量、计算量都砍了一半左右,但是剪枝后模型推理时间变化不大,请问这正常吗?

Lz000613 avatar Nov 16 '23 07:11 Lz000613

作者您好,我使用您的框架进行剪枝,参数量、计算量都砍了一半左右,但是剪枝后模型推理时间变化不大,请问这正常吗?

您好,感谢您对工作的关注。 在两者都减少了一半的情况下速度变化不大应该是不太正常的,方便的话您可以分享一下测试环境和测试实验设置,以确认是否存在影响其他因素。

HankYe avatar Nov 17 '23 19:11 HankYe