能像qwen-chat一样提供fastapi版本的web api 代码吗?

[seasnakes]

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

通过fastapi 部署web api 服务,便于远程调用和批处理

基本示例 | Basic Example

例如 图片 文本来进行对话交互的接口,像openai的api

缺陷 | Drawbacks

无

未解决问题 | Unresolved questions

No response

[systemoutprintlnhelloworld]

同求!

[jimanji]

同求，为什么openai_api.py 这个文件，怎么传入image图片信息？跑不起来，有没有readme之类？

[qingfengcss]

我也一样，跑了openai api， 但是不知道如何传入图片信息

[tommy3266]

+1，同求

[cdqncn]

+1，现在有了吗

[irexyc]

Hi, LMDeploy 目前可以部署Qwen/Qwen-VL-Chat，并支持openai形式的用法。欢迎使用并提供宝贵意见

这里是相关文档。 https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/serving/api_server_vl.md https://github.com/InternLM/lmdeploy/blob/main/docs/zh_cn/inference/vl_pipeline.md

[ShiGuangNuoYan]

我自己实现了一个FASTAPI框架下的web调用，可以来我的仓库看一下😄

[3030373635]

我自己实现了一个FASTAPI框架下的web调用，可以来我的仓库看一下😄

支持并发吗，或者说并行，因为我有大量api请求

[ShiGuangNuoYan]

sorry，这只是部署在单个服务器上，我已经尽量使用异步操作来完成I/O和计算的同时进行。但是想做到大量API之间的并行还需要使用多台服务器，采用轮询或者联邦学习的方式进行响应。

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年6月27日(星期四) 下午4:38 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [QwenLM/Qwen-VL] 能像qwen-chat一样提供fastapi版本的web api 代码吗? (Issue #70)

我自己实现了一个FASTAPI框架下的web调用，可以来我的仓库看一下😄

支持并发吗，或者说并行，因为我有大量api请求

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>