APIPark icon indicating copy to clipboard operation
APIPark copied to clipboard

help request: 不能添加私有化部署的大模型服务

Open TigerYangYang opened this issue 10 months ago • 4 comments

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

TigerYangYang avatar Feb 13 '25 09:02 TigerYangYang

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。

jeak01 avatar Feb 13 '25 09:02 jeak01

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。

感谢回复,目前有其它办法添加私有化模型吗?比如通过修改配置之类的?谢谢🙏

TigerYangYang avatar Feb 13 '25 10:02 TigerYangYang

Description

不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?

Environment

  • APIPark version:
  • Operating system (run uname -a):

本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。

感谢回复,目前有其它办法添加私有化模型吗?比如通过修改配置之类的?谢谢🙏

要支持的话不仅仅需要修改配置,还需要修改底层网关的代码(Go语言),所以还是等我们一下哈。下个版本也是这个月之内更新

jeak01 avatar Feb 13 '25 11:02 jeak01

私有化模型是指本地部署的xinference ,提供的模型吗

Crescentz avatar Feb 15 '25 10:02 Crescentz

已支持本地部署的所有模型,可以通过自定义供应商功能实现

jeak01 avatar Jun 20 '25 05:06 jeak01