itoliver
itoliver
用参数覆盖,或者开启请求体透传,我现在就是这么搞的
赞成,我也有这样的需求,有时候只是一个测试模型,并不对外提供,可以不在模型广场显示
经过验证,可以在模型管理页面,把模型禁用,模型广场将不会显示这个模型,渠道任然可以使用,不影响调用
> 可能我的阅读理解能力有点差了... 1. 在渠道管理添加两个相同的模型(比渠道1,渠道2),实际上模型是来自两台服务器,模型名一样 2. 平时通过设置优先级,只使用渠道1,渠道2备用 3. 当渠道1出现异常,比如模型服务挂掉了,会自动切换到渠道2,实现冷备负载均衡 不知道以上是否描述清楚了
现在虽然可以通过优先级手动切换,但是无法自动处理,比如可以通过重试机制,切换到另一个备用渠道,前端终端不会感知,也是故障自动恢复