GLM-4 icon indicating copy to clipboard operation
GLM-4 copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

请教一下，glm-4v会支持vllm推理吗？

Open Jimmy-L99 opened this issue 4 months ago • 2 comments

Feature request / 功能建议

glm-4v使用vllm推理。

Motivation / 动机

目前想尝试服务器部署，使用多客户端对glm4v的api server发起请求，但是用Transformers推理返回结果太慢。看到glm4-chat用vllm推理的速度快了不少，因此希望4v也能支持vllm推理。

Your contribution / 您的贡献

Jimmy-L99 avatar Oct 12 '24 02:10 Jimmy-L99