是否能支持vllm

Open Surrin1999 opened this issue 10 months ago • 1 comments

目前看到自定义API key方式只支持ollama和LM Studio

Feb 20 '25 06:02 Surrin1999

本地vllm部署的模型，选 OpenAI comptible, 填了URL后，无法显示Model name，也无法自己填写，始终是 test_model. 结论：目前不兼容vllm 部署的模型。

Mar 04 '25 09:03 biostone

二位好，最新版本已支持vllm，欢迎前去下载

Aug 19 '25 09:08 IceyLiu