Matthew Guan
Matthew Guan
已解决! 请下载完整版的mactex(mac'系统)
> I apologize for the inconvenience, but I was unable to reproduce the issue. > > If the #554 is unresolved, it should not reach the `_fuse_fx` step. Perhaps you...
> 已经支持多模态部署:https://github.com/modelscope/swift/blob/main/docs/source/Multi-Modal/MLLM%E9%83%A8%E7%BD%B2%E6%96%87%E6%A1%A3.md @Jintao-Huang 请问swift是否已经支持多模态 vllm openai 后端?
我也遇到了相同问题,请问你解决了吗? I have the same problem, please ask you to solve it?
请问你知道在哪里可以找到可以在cityscapes上训练的mrcnn仓库吗?最好是tensorflow版本的,谢谢~ Do you know where can find MRCNN code training on CitysCapes dataset in github? Preferably the tensorflow version. Thank you!
请教一下,可以提供一下 Async+VLLM 推理 minicpmv2-6的代码么。
> > 请教一下,可以提供一下 Async+VLLM 推理 minicpmv2-6的代码么。 > > swift deploy 走的是 Async+VLLM的 > > 客户端调用方式可以查看这里的文档: > > https://swift.readthedocs.io/zh-cn/latest/Multi-Modal/vLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E6%96%87%E6%A1%A3.html#id4 这个文档显示的是 openai的客户端调用方法,openai 是同步调用吧? 异步调用代码是不是得用 asyncio 包吧?
> 服务端: > > ```shell > CUDA_VISIBLE_DEVICES=0 swift deploy --model_type minicpm-v-v2_6-chat --infer_backend vllm --max_model_len 8192 > ``` > > 客户端: > > ```python > import asyncio > from swift.llm import...
> 1. 如何使用 python sdk启动服务 > > ```python > import os > os.environ['CUDA_VISIBLE_DEVICES'] = '0' > from swift.llm import deploy_main, DeployArguments > > # 与swift deploy相同的参数 > deploy_main(DeployArguments(...)) > ```...
> > 1. 如何使用 python sdk启动服务 > > > > ```python > > import os > > os.environ['CUDA_VISIBLE_DEVICES'] = '0' > > from swift.llm import deploy_main, DeployArguments > > >...