gtcrn icon indicating copy to clipboard operation
gtcrn copied to clipboard

端侧设备部署,onnx推理耗时20ms,是否正常以及还是否有优化手段

Open lhbing-ai opened this issue 5 months ago • 17 comments

cpu cotext-a7双核@1.2G 在端侧部署了实时流,单帧(16ms数据)推理耗时约20ms,也就是在这款设备上达不到实时流

1.当前设备20ms的推理时间是否正常 2.模型上还能否进一步裁剪的可能,业务上有没有优化的手段,比如输入的数据大一点,现在输入的是256的数据,也就是推理要小于16ms才有落地可能

lhbing-ai avatar Sep 04 '24 09:09 lhbing-ai