Lin Manhui

Results 484 comments of Lin Manhui

> > 建议您更新paddlex到最新3.3.8版本后重试哈,该问题已修复 > > 我遇到了类似的问题,使用的是PaddleORC VL。 paddelx 3.3.8 paddleocr 3.3.1 paddlepaddle-gpu 3.2.1 > > [#16936](https://github.com/PaddlePaddle/PaddleOCR/issues/16936) 请问是否可以按照如下步骤确认下代码中的关键路径是否被执行到: 1. `pip show paddlex`确定PaddleX源代码位置(`Location`),比如`/usr/local/lib/python3.10/dist-packages/paddlex`。 2. 找到`paddlex/inference/models/base/predictor/base_predictor.py`,在第161行添加断点: ```python if not use_hpip: breakpoint() self._pp_option =...

I believe the most likely reason for this difference is that in PaddleOCR 2.x (which depends on PaddlePaddle 2.x), OpenVINO can directly load the `pdmodel` format. However, since the model...

可以尝试安装预编译版本的flash-attn,以绕过编译过程:https://github.com/mjun0812/flash-attention-prebuild-wheels

可以确认一下是否可以稳定复现,不排除是因为一些资源问题导致实例失常了

> 可以稳定复现,试过2~4个实例,当有大量并发请求时,运行一段时间后;就会导致实例异常且占用大量内存;最终只有一个实例在跑识别,且速度很慢。 不确定是否和请求的内容有关,是否可以试试同样的一个样本做并发请求?

3.3版本的单个实例支持batch size>1,所以可能存在同时处理多个请求的情况,耗时也会增加

> 相同样本下,运行2分钟的并发测试;3.3 版本单卡开启5个实例会有一个实例异常,开启4个实例无异常 并发请求数是多少?

从客户端来看,是否有请求丢失的情况?这些高CPU利用率的实例,是否会一直运行下去,永远不返回结果?

是的 目前还在支持中 如果着急使用的话 可以将自动配置模式关闭 手动选择后端