APIParkLab
bug: all balances exhausted or unavailable
Current Behavior
确信调用通义千问官方的api调用和apikey都正常，且在容器里面curl发送chat正常。但是使用ai服务功能，返回all balances exhausted or unavailable
Expected Behavior
No response
Error Logs
No response
Steps to Reproduce
No response
Environment
- APINTO Dashboard version:
- Operating system (run
uname -a):
麻烦提供一下版本号，包括apipark的版本号和apinto的版本号 可以通过
docker images获取
在2月20日的时候通过docker-compsoe 安装的版本(https://docs.apipark.com/zh-Hans/docs/1.4-beta/deploy#docker-compose%E9%83%A8%E7%BD%B2) apipark/apipark:v1.4.4-beta eolinker/apinto-gateway:latest 这个版本访问api时返回：all balances exhausted or unavailable
发现在2.21有更新到v1.5.0-beta eolinker/apinto-gateway:0.21.1 然后刚刚更新了apipark和apinto，目前部署使用ollama的问答没有问题。但是使用厂商服务（如通义、硅基流动）返回是空的
另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！
另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！
会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？
另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！
会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？
其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 https://github.com/APIParkLab/APIPark/issues/194#issue-2850434790
另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！
会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？
其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 #194 (comment)
理解的，但是完全自定义的对接的话，有一个比较大的问题是如何确保接口的输入和输出格式一致。目前我们是根据不同的供应商做一层映射的，因为不同的供应商或者说渠道，他们的接口格式有差异。 我可以下个版本先做一个默认自定义供应商的功能，只需要填写base_url和apikey，但是这个供应商的原接口格式要符合openai才行，不然要用户自己配置映射的话会比较复杂。xinference的调用和响应就是符合Openai格式的，估计这样就能满足你的需求。
另外，是否会更新：支持远程调用xinference提供的api呢？感谢！！！
会支持把xinference作为一种AI供应商接入，然后可以通过apipark把基于xinference部署的AI能力接口进行调用，并且正常使用apipark来进行格式统一，负载均衡，已经调用统计等功能。 不过为啥不用ollama的？因为需要翻墙的问题？
其实想要的是类似本地部署后，可以通过类似修改base_url和apikey配置的方式连接到自己的本地模型，即不限定是vllm还是xinference还是ollama，这样可操作性会强一点点。 我的想法应该跟这位朋友一样 #194 (comment)
理解的，但是完全自定义的对接的话，有一个比较大的问题是如何确保接口的输入和输出格式一致。目前我们是根据不同的供应商做一层映射的，因为不同的供应商或者说渠道，他们的接口格式有差异。 我可以下个版本先做一个默认自定义供应商的功能，只需要填写base_url和apikey，但是这个供应商的原接口格式要符合openai才行，不然要用户自己配置映射的话会比较复杂。xinference的调用和响应就是符合Openai格式的，估计这样就能满足你的需求。
！！谢谢答复