Zhiyu YUE

在使用lmdeploy部署之后应该如何构建包含图片的请求体

8

"messages": [{ "role": "user", "content": [ { "type": "text", "text": "Describe the image please" }, { "type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg"}, } ], }],我使用这个message结构，服务无响应也没有报错。把图片相关的部分拿去后就可以正常推理得出答案。这是为什么呢？

评测Internvl76B时，完成了部署但是没有推理

1

**Describe the bug** What the bug is, and how to reproduce, better with screenshots(描述bug以及复现过程，最好有截图) 这里是我的评测代码： CUDA_VISIBLE_DEVICES=0,1 swift eval --model_type internvl2-llama3-76b --model_id_or_path /mnt/model/Internvl2/InternVL2-Llama3-76B \ --eval_dataset ceval --max_model_len 8192 然后会正常部署，但是部署之后没有任何推理，也无报错 INFO: 2024-07-25...

并且第一次训练时，0卡会无法加载完训练集导致卡在94%，终止之后再进行训练就会出现以下报错： raise ValueError(f"No slot '{slot}' specified on host '{hostname}'") ValueError: No slot '4' specified on host 'localhost'

[Bug] 使用官方镜像v0.5.1进行GLM4v的部署会有一个报错

7

### Checklist - [ ] 1. I have searched related issues but cannot get the expected help. - [ ] 2. The bug has not been fixed in the latest...