help request: 不能添加私有化部署的大模型服务
Description
不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?
Environment
- APIPark version:
- Operating system (run
uname -a):
Description
不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?
Environment
- APIPark version:
- Operating system (run
uname -a):
本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。
Description
不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?
Environment
- APIPark version:
- Operating system (run
uname -a):本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。
感谢回复,目前有其它办法添加私有化模型吗?比如通过修改配置之类的?谢谢🙏
Description
不能添加私有化部署的大模型服务,比如本地部署了deepseek-r1大模型,在AI 模型中如何切换,能调用本地部署的大模型?
Environment
- APIPark version:
- Operating system (run
uname -a):本周的新版本先上一键部署开源模型并接入到apipark的功能,特别是deepseek-r1。然后已经部署好了的私有化模型的话,再下一个版本支持。
感谢回复,目前有其它办法添加私有化模型吗?比如通过修改配置之类的?谢谢🙏
要支持的话不仅仅需要修改配置,还需要修改底层网关的代码(Go语言),所以还是等我们一下哈。下个版本也是这个月之内更新
私有化模型是指本地部署的xinference ,提供的模型吗
已支持本地部署的所有模型,可以通过自定义供应商功能实现