shihaitao118
shihaitao118
> 重新安装paddleocr吧,加上这一行[https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/tools/infer/utility.py#L279:我开启TRT预测也没问题了;](https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/tools/infer/utility.py#L279%EF%BC%9A%E6%88%91%E5%BC%80%E5%90%AFTRT%E9%A2%84%E6%B5%8B%E4%B9%9F%E6%B2%A1%E9%97%AE%E9%A2%98%E4%BA%86%EF%BC%9B)  重新安装了还是不行
> > 重新安装paddleocr吧,加上这一行[https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/tools/infer/utility.py#L279:我开启TRT预测也没问题了;](https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/tools/infer/utility.py#L279%EF%BC%9A%E6%88%91%E5%BC%80%E5%90%AFTRT%E9%A2%84%E6%B5%8B%E4%B9%9F%E6%B2%A1%E9%97%AE%E9%A2%98%E4%BA%86%EF%BC%9B)  > > 重新安装了还是不行 重新搭了一个paddle的环境, paddle-bfloat 0.1.2 paddle2onnx 0.5 paddlehub 1.8.3 paddleocr 2.5 paddlepaddle-gpu 2.3.0 paddleslim 1.1.1 paddlex 1.3.7 tensorrt 7.0.0.11 加了您说的那一行代码后,tensorrt可以跑通了,测试时间,发现速度并没有提高,不清楚是为啥
> TRT对检测模型有20-30%的加速,对识别模型加速不明显; > > 预测第一张图的话,由于trt需要初始化,所以耗时比较久;如果初始化完predictor后,连续预测会快很多;你可以把--image_dir设置为图像文件夹目录,观察连续预测的预测时间  我是循环推理了一张图片,打印了时间,和不加速的对比时间基本相同  您那边说的检测和识别分别指的是哪个模型啊?代码中如何体现我使用的是哪个模型啊?
> > 另外,在开启TRT预测不报错的情况下,尽量设置小的min_subgraph_size稍微有一些加速: > > https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/tools/infer/utility.py#L40 > > > 您那边说的检测和识别分别指的是哪个模型啊?代码中如何体现我使用的是哪个模型啊? > > det_model_dir指向的是文本检测模型; rec_model_dir指向的是文本识别模型; min_subgraph_size设置低于15后,tensorrt加速均会报错 det_model_dir指向的是文本检测模型; rec_model_dir指向的是文本识别模型; 目前我写的ocr识别中这两个模型都用到了,按理速度应该有提升20%~30%? 想请问一下,如果我想单独使用这个两个模型进行检测推理,是否有样例代码,我刚刚测试了,将det_model_dir 或rec_model_dir 去除,ocr都会主动去下载模型
> https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/paddleocr.py#L445 好的,感谢解答
> 参考这个文档:[https://github.com/PaddlePaddle/PaddleOCR/blob/release%2F2.5/doc/doc_ch/whl.md和代码https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/paddleocr.py#L445吧](https://github.com/PaddlePaddle/PaddleOCR/blob/release%2F2.5/doc/doc_ch/whl.md%E5%92%8C%E4%BB%A3%E7%A0%81https://github.com/PaddlePaddle/PaddleOCR/blob/0b34ad5b93f19cf2324308e52bee59daeb164c4d/paddleocr.py#L445%E5%90%A7) 单独使用模型的时候,只设置det_model_dir或者rec_model_dir的路径即可;如果只用检测,设置ocr(self, img, det=True, rec=False, cls=False) > > > 目前我写的ocr识别中这两个模型都用到了,按理速度应该有提升20%~30%? > > 不是的,两个模型都用,只有检测预测部分会加速,检测预处理、后处理,检测框可视化和识别预测部分都没加速的。所以整体加速不明显 最后想请教一下您,在使用tensorrt加速过程中 ,paddle是否会生成det_model,rec_model,cls_model这三个模型的engine模型(转换的trt模型)?如果有临时的这个文件,是在哪里目录下啊?我之前在做测试的时候,有看到过日志中有打印engine模型的路径,不知道是不是转换的trt模型文件
 这个里面所说的动态shape ,使用Netron打开网络结构后,搜索对应的参数,请问一下,这个动态shape可以在哪里查看啊 
>  这个里面所说的动态shape ,使用Netron打开网络结构后,搜索对应的参数,请问一下,这个动态shape可以在哪里查看啊  