NextChat icon indicating copy to clipboard operation
NextChat copied to clipboard

[Feature Request] 额外的自定义API请求参数

Open MotorBottle opened this issue 6 months ago • 1 comments

🥰 需求描述

对于一些渠道的API,可能会有默认选项之外的API请求的参数需求,例如当我使用Ollama API时,需要添加num_ctx参数来设置模型的上下文窗口,否则模型默认只有2k或1k tokens。

🧐 解决方案

添加一个textarea 让用户可以输入自定义的额外的请求参数,例如

num_ctx: 32768,
num_predict: 1000

或者

options: {
    num_ctx: 32768,
    num_predict: 1000
}

这两种格式分别对应经过转换成OpenAI格式的API请求格式,以及ollama原生的REST API 请求格式,下图可作为参考 image image

📝 补充信息

Anyway,这样可以让用户在设置API请求参数的时候有更多的自由度 No response

MotorBottle avatar Jul 28 '24 14:07 MotorBottle