cherry-studio API地址的高级选项

OpenAI API的后缀都是一致的。但是其他的一些推理架构的后缀不一样。希望可以添加一个API地址的高级选项。可以自定义地址的后缀路径。默认情况是OpenAI的，打开开关以后增加一个输入框。可以输入后续的地址。例如Ollama和vllm的后缀都是不一样的，我又不想反代。有的是/v1/chat/completions,有的是/generate，而且这个路径需要确保发送到 /generate 端点的 POST 请求中包含 "prompt" 键。

或者你干脆单独支持一个vllm方式吧。

Oct 04 '24 04:10 Sucorde

可以

Oct 04 '24 11:10 kangfenmao

API URL地址自定义什么时候能有啊。

Oct 12 '24 14:10 Sucorde

API URL地址自定义什么时候能有啊。

下周上线

Oct 12 '24 14:10 kangfenmao

看到更新了。这个路径需要确保发送到 /generate 端点的 POST 请求中包含 "prompt" 键。这个加了么？最近没时间弄

Oct 16 '24 02:10 Sucorde

看到更新了。这个路径需要确保发送到 /generate 端点的 POST 请求中包含 "prompt" 键。这个加了么？最近没时间弄

还没有测试，不知道对其他服务商有没有影响

Oct 16 '24 02:10 kangfenmao

/generate

这个应该是不兼容 OpenAI SDK 的请求吧 /generate

Oct 16 '24 02:10 kangfenmao

目前已经实现了 3 种适配

Oct 16 '24 02:10 kangfenmao

其实我是比较建议单独设置一个VLLM的接入，

Oct 16 '24 05:10 Sucorde

vLLM 已经支持了 OpenAI 兼容请求，是否还有必要增加这个服务商 @Sucorde

Oct 28 '24 08:10 kangfenmao

vLLM 已经支持了 OpenAI 兼容请求，是否还有必要增加这个服务商 @Sucorde

我试过了。确实已经支持了。所以没必要加入了。因为自定义的端口不确定，增加没意义。

Oct 28 '24 12:10 Sucorde