xuhaoran

> 麻烦提供一下版本号，包括apipark的版本号和apinto的版本号 可以通过`docker images`获取 在2月20日的时候通过docker-compsoe 安装的版本(https://docs.apipark.com/zh-Hans/docs/1.4-beta/deploy#docker-compose%E9%83%A8%E7%BD%B2) apipark/apipark:v1.4.4-beta eolinker/apinto-gateway:latest 这个版本访问api时返回：all balances exhausted or unavailable 发现在2.21有更新到v1.5.0-beta eolinker/apinto-gateway:0.21.1 然后刚刚更新了apipark和apinto，目前**部署使用ollama的问答没有问题**。**但是使用厂商服务（如通义、硅基流动）返回是空的** ---------------------------------------------------------------------- 另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！

> > 另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！ > > 会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？ 其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 https://github.com/APIParkLab/APIPark/issues/194#issue-2850434790

> > > > 另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！ > > > > > > > > > 会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？ > > > > > > 其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 [#194 (comment)](https://github.com/APIParkLab/APIPark/issues/194#issue-2850434790) > > 理解的，但是完全自定义的对接的话，有一个比较大的问题是如何确保接口的输入和输出格式一致。目前我们是根据不同的供应商做一层映射的，因为不同的供应商或者说渠道，他们的接口格式有差异。 我可以下个版本先做一个默认自定义供应商的功能，只需要填写base_url和apikey，但是这个供应商的原接口格式要符合openai才行，不然要用户自己配置映射的话会比较复杂。xinference的调用和响应就是符合Openai格式的，估计这样就能满足你的需求。...