new-api
new-api copied to clipboard
添加两个相同的渠道做负载
例行检查
- [ X] 我已确认目前没有类似 issue
- [ X] 我已确认我已升级到最新版本
- [ X] 我已完整查看过项目 README,尤其是常见问题部分
- [X ] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [X ] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
问题描述 为了模型异常,添加两个渠道,通过设置权重/优先级来负载均衡,当其中一个渠道异常,会自动切换到另一个渠道中,这样能保证前端模型服务不会出现异常
可能我的阅读理解能力有点差了...
可能我的阅读理解能力有点差了...
- 在渠道管理添加两个相同的模型(比渠道1,渠道2),实际上模型是来自两台服务器,模型名一样
- 平时通过设置优先级,只使用渠道1,渠道2备用
- 当渠道1出现异常,比如模型服务挂掉了,会自动切换到渠道2,实现冷备负载均衡
不知道以上是否描述清楚了
现在虽然可以通过优先级手动切换,但是无法自动处理,比如可以通过重试机制,切换到另一个备用渠道,前端终端不会感知,也是故障自动恢复
你需要仔细阅读一下官方文档
new api 不是有自动禁用功能吗
看看楼上说的,你需要读一下文档,配置一下自动禁用和重试相关的功能。