在使用lmdeploy部署之后应该如何构建包含图片的请求体

[ZhiyuYUE]

"messages": [{ "role": "user", "content": [ { "type": "text", "text": "Describe the image please" }, { "type": "image_url", "image_url": {"url": "https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg"}, } ], }],我使用这个message结构，服务无响应也没有报错。把图片相关的部分拿去后就可以正常推理得出答案。这是为什么呢？

[WangJianQ-0118]

需要使用base64转码

[ZhiyuYUE]

需要使用base64转码

网页请求是不用转base64的，本地才需要。后来换成lmdeploy官方镜像问题解决了

[njzfw1024]

需要使用base64转码

网页请求是不用转base64的，本地才需要。后来换成lmdeploy官方镜像问题解决了

你好，遇到相同的问题了，可以给一个镜像链接嘛

[hitzhu]

多张图你是怎么处理的，我用这个格式穿入多张图,模型似乎只能注意到其中一张图

[ZhiyuYUE]

需要使用base64转码

网页请求是不用转base64的，本地才需要。后来换成lmdeploy官方镜像问题解决了

你好，遇到相同的问题了，可以给一个镜像链接嘛 docker hub直接搜lmdeploy就可以

[ZhiyuYUE]

多张图你是怎么处理的，我用这个格式穿入多张图,模型似乎只能注意到其中一张图

我也不太清楚多图应该怎么处理输入，模型只会看到 最后一张图

[stomachacheGE]

用lmdeploy推理，图像预处理相关的代码，只能用python处理吗？比如dynamic_preprocess这些

[kar9999]

多张图你是怎么处理的，我用这个格式穿入多张图,模型似乎只能注意到其中一张图

我也不太清楚多图应该怎么处理输入，模型只会看到 最后一张图

兄弟有找到解决办法吗

[Weiyun1025]

多张图你是怎么处理的，我用这个格式穿入多张图,模型似乎只能注意到其中一张图

我也不太清楚多图应该怎么处理输入，模型只会看到 最后一张图

需要在query里加上IMG占位符，否则会统一放在对话的最前面

[kar9999]

messages=[{ 'role': 'user', 'content': [{ 'type': 'text', 'text': 'describe this image', }, { 'type': 'image_url', 'image_url': { 'url': 'https://modelscope.oss-cn-beijing.aliyuncs.com/resource/tiger.jpeg', }, { 'type': 'image_url', 'image_url': { 'url': 'https://modelscope.oss-cn-beijing.aliyuncs.com/resource/tiger2.jpeg', }, }], }],我用openai的请求格式，这样是可以的，但是一个content里只能有一个text，多个text只取最后一个

在 2024-12-19 15:12:36，"WeiyunWang" @.***> 写道：

多张图你是怎么处理的，我用这个格式穿入多张图,模型似乎只能注意到其中一张图

我也不太清楚多图应该怎么处理输入，模型只会看到 最后一张图

需要在query里加上IMG占位符，否则会统一放在对话的最前面

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[suexin27]

docker hub直接搜lmdeploy就可以

您好 请问是哪里换成镜像的链接？

[momush]

messages=[{ 'role': 'user', 'content': [{ 'type': 'text', 'text': 'describe this image', }, { 'type': 'image_url', 'image_url': { 'url': 'https://modelscope.oss-cn-beijing.aliyuncs.com/resource/tiger.jpeg', }, { 'type': 'image_url', 'image_url': { 'url': 'https://modelscope.oss-cn-beijing.aliyuncs.com/resource/tiger2.jpeg', }, }], }],我用openai的请求格式，这样是可以的，但是一个content里只能有一个text，多个text只取最后一个 在 2024-12-19 15:12:36，"WeiyunWang" @.> 写道： 多张图你是怎么处理的，我用这个格式穿入多张图,模型似乎只能注意到其中一张图 我也不太清楚多图应该怎么处理输入，模型只会看到 最后一张图 需要在query里加上IMG占位符，否则会统一放在对话的最前面 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

使用这个格式之后，存在模型输出的content为空的问题，这个是什么原因呢