one-api icon indicating copy to clipboard operation
one-api copied to clipboard

增加自定义接口,从而增强项目的鲁棒性和兼容性

Open c121914yu opened this issue 8 months ago • 0 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

背景 目前大模型的更新十分频繁,各家的接口又不太一样,经常出现新模型出来无法接入的情况。

解决方案

增加一个自定义模型接口,与目前功能里的自定义不一样,这个自定义接口不需要对输入输出进行任何的处理,仅需做3件事:

  1. 根据 model 识别对应的 baseUrl 和 Auth
  2. 替换请求的 baseUrl 和 Auth
  3. 转发请求到新的地址

如果想计费的话,可以增加一个按次计费作为临时计费方案。有时间再去兼容对应的 token 获取。

应用场景

  1. 新模型的为加入标准候选列表时也能使用。
  2. 不在标准列表里的模型也能通过 oneapi 接入。

c121914yu avatar Dec 12 '23 01:12 c121914yu