ybshaw

顺带请教一下，如果使用BERT的tokenzier(英文情况下)，会切成更细的词如##ing，这样句子的长度改变了，但是lable长度却是一样，请问要怎样处理呢，谢谢

paddleOCR 推理耗时问题

8

python调用PaddleOCR(`version=2.5.0.3`)时，发现图片耗时很长，本地单机测试基本都在**2s**以上（图片很小，都是只有100K左右，文字也不多），看了相关Issue的回答说只有第一张图片才会耗时，但是我在本地和包装成接口服务之后发现每一张图片的时间都很长，并没有出现说除了第一张后面的时间很短的情况；经过排查发现**时间大部分都耗在了加载模型阶段**，真正ocr识别的时间只有**400ms**左右（开启了mkldnn=True）;想问下这种情况怎么解决呢，有没有办法一次性加载模型到内存，而不是每次都要初始化一遍模型。 以下是我的实验代码和结果以及本地电脑的配置：   

RuntimeError: could not execute a primitive 错误问题

2

使用Flask包装成http接口，开启服务之后，测试图片时出现下面错误（每次从第二张图片开始就报错导，第一张是正常） - 我的代码 ```python model = PaddleOCR(......) file_path = '/home/ocr/test.jpg' ocr_output, ocr_time = get_ocr_output(img_path=file_path, model=model) ``` - 报错问题: ``` Traceback (most recent call last): File "server.py", line 100, in server...

when export yolov5 model to pb format, load the pb model occur ERROR

5

### Search before asking - [X] I have searched the YOLOv5 [issues](https://github.com/ultralytics/yolov5/issues) and [discussions](https://github.com/ultralytics/yolov5/discussions) and found no similar questions. ### Question when export yolov5 model to pb format, load the...

[BUG] <没有按照提示词要求输出指定内容>

3

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

7B版本无法多卡运行

5

使用官方提供的7B版本，单卡24G内存的RTX上无法运行，报OOM错误，指定卡号后无法生效，依然还是只占用第0卡，要怎么推理才可以正常运行 ```python import torch from transformers import AutoModel, AutoTokenizer torch.set_grad_enabled(False) ckpt_path='/home/my/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b' # init model and tokenizer model = AutoModel.from_pretrained(ckpt_path, trust_remote_code=True).cuda().eval() tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True) text = '仔细描述这张图' image='/home/my/cat.jpg' with torch.cuda.amp.autocast():...

[BUG] <title>启动api之后，如何使用图片构造请求，并获取模型结果

1

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

Failed building wheel for faiss-cpu

3

**Describe the bug** when use pip install faiss-cpu==1.7.2, some errors occured: `Failed building wheel for faiss-cpu` **To Reproduce** Describe the steps to reproduce the behavior: ``` pip install faiss-cpu==1.7.2 ```...

目前支持多模态LLM的微调吗，比如qwen-vl、internLM-VL等

2

如果不支持的话未来有相关计划吗