Lin Manhui
Lin Manhui
> > 建议您更新paddlex到最新3.3.8版本后重试哈,该问题已修复 > > 我遇到了类似的问题,使用的是PaddleORC VL。 paddelx 3.3.8 paddleocr 3.3.1 paddlepaddle-gpu 3.2.1 > > [#16936](https://github.com/PaddlePaddle/PaddleOCR/issues/16936) 请问是否可以按照如下步骤确认下代码中的关键路径是否被执行到: 1. `pip show paddlex`确定PaddleX源代码位置(`Location`),比如`/usr/local/lib/python3.10/dist-packages/paddlex`。 2. 找到`paddlex/inference/models/base/predictor/base_predictor.py`,在第161行添加断点: ```python if not use_hpip: breakpoint() self._pp_option =...
I believe the most likely reason for this difference is that in PaddleOCR 2.x (which depends on PaddlePaddle 2.x), OpenVINO can directly load the `pdmodel` format. However, since the model...
可以尝试安装预编译版本的flash-attn,以绕过编译过程:https://github.com/mjun0812/flash-attention-prebuild-wheels
请问是哪一条产线?
可以确认一下是否可以稳定复现,不排除是因为一些资源问题导致实例失常了
> 可以稳定复现,试过2~4个实例,当有大量并发请求时,运行一段时间后;就会导致实例异常且占用大量内存;最终只有一个实例在跑识别,且速度很慢。 不确定是否和请求的内容有关,是否可以试试同样的一个样本做并发请求?
3.3版本的单个实例支持batch size>1,所以可能存在同时处理多个请求的情况,耗时也会增加
> 相同样本下,运行2分钟的并发测试;3.3 版本单卡开启5个实例会有一个实例异常,开启4个实例无异常 并发请求数是多少?
从客户端来看,是否有请求丢失的情况?这些高CPU利用率的实例,是否会一直运行下去,永远不返回结果?
是的 目前还在支持中 如果着急使用的话 可以将自动配置模式关闭 手动选择后端