使用api时报错

[AiFLYF]

[irexyc]

try this:

lmdeploy serve api_server /home/InternVL/InternVL-Chat-V1-5 --server-port 8080

[AiFLYF]

试试这个：

lmdeploy serve api_server/home/InternVL/InternVL-Chat-V1-5-server-端口8080

谢谢你，我这个问题已经解决了，和你给的一样，这个可以

[JayZhao315]

@irexyc @czczup 您好, 我也想要使用api调用,我看下来lmdeploy不支持比如max_input_tiles参数设定,然后我基于您的文档中how_to_quickstart_with_hf.md这篇文档写了一个api. 但我发现和gradio服务的出来的结果不同,效果远没有Gradio页面上的好.我看到页面服务会基于模型拼接不同的prompt等参数,这有些超过我的能力了😭 请问是否有封装好的与Gradio一样的调用的api能够提供,万分感谢

[yuecao0119]

@irexyc @czczup 您好, 我也想要使用api调用,我看下来lmdeploy不支持比如max_input_tiles参数设定,然后我基于您的文档中how_to_quickstart_with_hf.md这篇文档写了一个api. 但我发现和gradio服务的出来的结果不同,效果远没有Gradio页面上的好.我看到页面服务会基于模型拼接不同的prompt等参数,这有些超过我的能力了😭 请问是否有封装好的与Gradio一样的调用的api能够提供,万分感谢

你好，感谢关注我们的工作。我们提供了InternVL2_Pro的API，如果有需要可以申请。