new-api icon indicating copy to clipboard operation
new-api copied to clipboard

添加两个相同的渠道做负载

Open itoliver opened this issue 1 month ago • 4 comments

例行检查

  • [ X] 我已确认目前没有类似 issue
  • [ X] 我已确认我已升级到最新版本
  • [ X] 我已完整查看过项目 README,尤其是常见问题部分
  • [X ] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [X ] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

问题描述 为了模型异常,添加两个渠道,通过设置权重/优先级来负载均衡,当其中一个渠道异常,会自动切换到另一个渠道中,这样能保证前端模型服务不会出现异常

itoliver avatar Nov 19 '25 08:11 itoliver

可能我的阅读理解能力有点差了...

seefs001 avatar Nov 19 '25 16:11 seefs001

可能我的阅读理解能力有点差了...

  1. 在渠道管理添加两个相同的模型(比渠道1,渠道2),实际上模型是来自两台服务器,模型名一样
  2. 平时通过设置优先级,只使用渠道1,渠道2备用
  3. 当渠道1出现异常,比如模型服务挂掉了,会自动切换到渠道2,实现冷备负载均衡

不知道以上是否描述清楚了

itoliver avatar Nov 20 '25 03:11 itoliver

现在虽然可以通过优先级手动切换,但是无法自动处理,比如可以通过重试机制,切换到另一个备用渠道,前端终端不会感知,也是故障自动恢复

itoliver avatar Nov 20 '25 03:11 itoliver

你需要仔细阅读一下官方文档

im-lee avatar Nov 28 '25 10:11 im-lee

new api 不是有自动禁用功能吗

zhu-jl18 avatar Dec 07 '25 19:12 zhu-jl18

看看楼上说的,你需要读一下文档,配置一下自动禁用和重试相关的功能。

seefs001 avatar Dec 09 '25 02:12 seefs001