Lin Manhui
Lin Manhui
目前应该已经支持了,可以升级paddlex体验:`python -m pip install -U paddlex`
看起来是OOM了,构建TensorRT引擎需要的显存可能比较多,可以参考FAQ里问题4的解决办法: https://paddlepaddle.github.io/PaddleX/latest/pipeline_deploy/high_performance_inference.html#3
> > 看起来是OOM了,构建TensorRT引擎需要的显存可能比较多,可以参考FAQ里问题4的解决办法: > > https://paddlepaddle.github.io/PaddleX/latest/pipeline_deploy/high_performance_inference.html#3 > > https://www.paddleocr.ai/latest/version3.x/deployment/high_performance_inference.html#3 我看别人用A800都报一样的错,我这个4060 8g显存不够吗,而且我尝试关闭了几个产线一样报错 ocr = PaddleOCR( use_doc_orientation_classify=False, use_doc_unwarping=False, use_textline_orientation=False, enable_hpi=True, text_recognition_model_name='PP-OCRv5_mobile_rec' ) 请问还有没有其他解决办法? 链接里看起来是另一个问题,只是因为都是推理引擎构建失败,所以看起来最终的报错信息一样。可能得考虑手动指定推理引擎,可以参考如下步骤: 1. 参考 [这个文档](https://www.paddleocr.ai/latest/version3.x/paddleocr_and_paddlex.html#31) 获取产线配置文件。 2. 修改配置文件,为报错的模型指定TensorRT以外的推理引擎,例如 ONNX Runtime。设置方法可以参考...
看起来是的,请按照建议操作吧
可以安装这个试试:https://paddle-whl.bj.bcebos.com/nightly/npu/paddle-custom-npu/paddle_custom_npu-3.0.0.dev20250519-cp310-cp310-linux_aarch64.whl
显存上涨可能是由于缓存机制。请问上涨到一定程度后会停止上涨吗?
请问你指的是高稳定性服务化部署方案吗?
目前确实不支持输出文本检测的置信度;服务返回结果中只包含文本识别的置信度。请问需要文本检测的置信度用作什么处理?
目前我们支持通过`textDetBoxThresh`参数设置检测框置信度阈值,可用于筛掉低置信度的检测框。可以看看调整这个参数对你的场景是否有帮助。
请问如果使用飞桨框架本地推理,不使用vLLM,结果是正常的吗?