Yu Liu
@lvhan028 很多agent框架（比如langchain）都需要使用 guided_decoding技术 作为构建agent的一部分，因此再次建议 尽早支持一下 guided_decoding，不然在使用agent框架的时候，只能使用vllm作为推理后端才能 支持。
最近有计划吗，这个feature 看似还是很容易实现的，而且是很重要的feature
@lvhan028 这个feature排上计划了吗 ，我觉得性能再好，也不如某些feature在业务上的重要性。而且这个feature看似很容易实现。
我最近也在考虑这个问题，后面可能借助 docker swarm 或者k8s来实现 ---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年10月23日(周三) 上午10:35 收件人: ***@***.***>; 抄送: ***@***.***>; 主题: [shell-nlp/gpt_server] 服务器集群管理 (Issue #18) 一般来说，GPT的部署都是多机多卡的集群部署形式，希望能做一些集群管理，比如：模型上、下线功能，集群中某台服务器的开启和关闭服务 功能。 — Reply to this email directly, view it on...
> +1 一样的问题，lobechat 用不起来 可以试试这个二开项目，集成了 lmdeploy,vllm,sglang https://github.com/shell-nlp/gpt_server 专门优化了 tool call
@Yikai-Liao 这个模型是基于VL模型训练的，所以暂时还不支持，后面我也研究一下怎么支持，其实就是用 vllm 框架进行加速
@Yikai-Liao https://docs.vllm.ai/en/latest/models/supported_models.html 你可以尝试这样部署，先使用vllm 看能否部署， 如果可以的话，可以跟我说一下，我后面也支持一下 