chatAir icon indicating copy to clipboard operation
chatAir copied to clipboard

增加自定义模型名称功能

Open libukai opened this issue 1 year ago • 7 comments

部分中转服务使用了非标准化的模型名称,希望能够通过自定义模型名称来实现支持 例如 OpenRouter 中 gpt-4o-mini 的名称为 openai/gpt-4o-mini

CleanShot 2024-08-21 at 22 36 14@2x

libukai avatar Aug 21 '24 14:08 libukai

配置自定义模型名称

  1. 在[全局AI参数]中[AI模型]选择中选择[自定义模型]。或者在聊天窗口,点击头像,选择[AI模型]切换[自定义模型](只针对当前聊天窗口的配置)
  2. 点击[自定义模型]并输入自定义模型的名称后使用。

OpenRouter之前已经做了适配,如果还有问题,可以打开[OpenAI 切换旧协议]进行尝试。

欢迎反馈

flyun avatar Aug 22 '24 06:08 flyun

测试了一下, API Server 配置为 https://openrouter.ai/api/ 的情况下

  1. 选择默认的 OpenAI 系列模型可以成功调用
  2. 选择 Gemini/Claude 系列模型无法成功调用
  3. 在自定义模型中使用 google/gemini-flash-1.5 类型的模型名可以成功调用

因此,建议考虑一下,将Gemini/Claude 模型的适配也做一下

libukai avatar Aug 23 '24 06:08 libukai

感谢测试反馈。

这里解释一下:

  • 默认OpenAI 系列模型以及自定义模型调用OpenAI协议。
  • 默认Gemini系列模型调用Gemini协议。
  • 默认Claude系列模型调用Claude协议。 每个协议对应API服务器设置中的API Key以及API Server配置。

因为切换到Gemini系列模型就会调用配置的Gemini API Server与Gemini API Key。猜测OpenRouter做了模型名称的适配,所以默认OpenAI 系列模型也可以用,之前需要自定义模型改成openai/gpt-4o-mini这样的模型名称才可以。

之前这里只是简单实现下,不够人性化。之后会重新设计,可以同时配置不同的兼容OpenAi协议服务商,选择配置好的模型,就会切换到具体的服务商。配置好API Server后,添加模型会自动列出已有模型,点选进行添加。完成后,就可以在聊天窗口的模型列表选择已经添加过的模型。

flyun avatar Aug 23 '24 09:08 flyun

嗯,这样设计的灵活性和条理性就好多了,期待早日上线

libukai avatar Aug 23 '24 14:08 libukai

1.1.12 版增加配置自定义 API Server的新方式,适配Perplexity、Github等模型提供商

这个没看懂?好像配置页面没有变化?

libukai avatar Sep 08 '24 07:09 libukai

是否可以增加多个自定义 API 服务商?

libukai avatar Sep 08 '24 07:09 libukai

之前不能兼容 https://api.perplexity.ai/chat/completions这样采用OpenAI协议的非标准的请求接口地址。 标准的请求接口地址是这样的https://api.openai.com/v1/chat/completions

在1.1.12版本中对于perplexity,配置自定义 API Server输入https://api.perplexity.ai/chat/completions就可以正常使用。

配置多个自定义API 服务商,下一版会增加。

flyun avatar Sep 08 '24 08:09 flyun