gtcrn
gtcrn copied to clipboard
端侧设备部署,onnx推理耗时20ms,是否正常以及还是否有优化手段
cpu cotext-a7双核@1.2G 在端侧部署了实时流,单帧(16ms数据)推理耗时约20ms,也就是在这款设备上达不到实时流
1.当前设备20ms的推理时间是否正常 2.模型上还能否进一步裁剪的可能,业务上有没有优化的手段,比如输入的数据大一点,现在输入的是256的数据,也就是推理要小于16ms才有落地可能