APIPark
APIPark copied to clipboard
help request: 我想使用apipark向多个团队提供多个模型的访问能力,同时需要设置token、速率等限制,请问现在的版本支持吗?
Description
我想使用apipark向多个团队提供多个模型的访问能力例如azure openai, deepseek等,同时需要设置token总量、速率等限制,请问现在的版本支持吗?在官网宣传中看到了类似功能,但是文档中没有详细说明,谢谢
Environment
- APIPark version: 1.8beta
- Operating system (run
uname -a): debian12
首先,支持多团队分配多模型能力。
- 创建一个AI服务,系统会自动创建一个聚合调用多个AI模型的API,把这个API给希望使用的团队即可。
- AI服务可以配置消费者,你可以给不同的团队定义为不同的消费者,密钥是挂在消费者下的,也就是A消费和B消费者有不同的密钥
- 分开消费者是为了你方面后续监控他们的调用接口的情况,例如调用量、token消耗等。甚至还可以做一些限制,限制某些token才能调用某些AI模型(这个限制现在能实现,但是配置复杂一些,看后期需求再讲解吧)
然后,token总量和速率限制功能还没上线,是原来的功能计划,但因为一些更加重要的功能延后了排期。目前底层的产品架构是有为这些功能做准备的,例如我们的AI 接口每次调用都有详细的日志,包括了调用的消费者,调用的tokens数等。可以用于做tokens总额限制。然后速率限制,我们使用的底层网关apinto也是支持的,只是在界面上没做展示。
首先,支持多团队分配多模型能力。
- 创建一个AI服务,系统会自动创建一个聚合调用多个AI模型的API,把这个API给希望使用的团队即可。
- AI服务可以配置消费者,你可以给不同的团队定义为不同的消费者,密钥是挂在消费者下的,也就是A消费和B消费者有不同的密钥
- 分开消费者是为了你方面后续监控他们的调用接口的情况,例如调用量、token消耗等。甚至还可以做一些限制,限制某些token才能调用某些AI模型(这个限制现在能实现,但是配置复杂一些,看后期需求再讲解吧)
然后,token总量和速率限制功能还没上线,是原来的功能计划,但因为一些更加重要的功能延后了排期。目前底层的产品架构是有为这些功能做准备的,例如我们的AI 接口每次调用都有详细的日志,包括了调用的消费者,调用的tokens数等。可以用于做tokens总额限制。然后速率限制,我们使用的底层网关apinto也是支持的,只是在界面上没做展示。
你好,token总量以及速率限制还有配额希望能够上线,咋打赏支持下,希望尽快上线哦