PaddleCustomDevice icon indicating copy to clipboard operation
PaddleCustomDevice copied to clipboard

在Npu环境上并没有使用npu进行推理

Open liujiachang opened this issue 1 year ago • 2 comments

每个图片第一次被推理的时候速度都非常慢(10~100秒),第二次被推理时正常(0.5s)。并且第一次推理AICore利用率为0. 代码为PaddleOCR代码,运行ppstructure/predict_system.py。 image image

liujiachang avatar Aug 22 '24 06:08 liujiachang

你好,关于第一次推理慢的问题,请参考 https://github.com/PaddlePaddle/PaddleCustomDevice/issues/1118

YanhuiDua avatar Aug 22 '24 09:08 YanhuiDua

我看过了,最后的结论就是warmup么,检测模型的输入是固定的,但是识别不固定所以只warmup识别模型就可以了吧,我观察我的推理时间也都是卡在识别。但是我的识别模型输入的图片已经将近1000张,他的速度仍然很慢。

liujiachang avatar Aug 22 '24 09:08 liujiachang