one-api icon indicating copy to clipboard operation
one-api copied to clipboard

支持vLLM调用发布的接口格式

Open xiechengmude opened this issue 1 year ago • 6 comments

例行检查

  • [ ] 我已确认目前没有类似 issue
  • [ ] 我已确认我已升级到最新版本
  • [ ] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [ ] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [ ] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

功能描述

应用场景

自定义模型部署 会用到vLLM服务,请支持一下这个主流的模型部署服务接口结构 或者提供一个配置方式

xiechengmude avatar Oct 07 '23 03:10 xiechengmude