MaxKB
MaxKB copied to clipboard
[FEATURE]1.5.1版本中的AI模型最大输出token数过小
MaxKB 版本
1.5.1
请描述您的需求或者改进建议
1.5开始的新版本中,对AI模型能够设置温度与最大输出token,但目前最大输出token是4096,这个数值偏小。希望能够让用户自定义。因为每个模型的输出token是不同的,例如qwen系列,可以设到8192。Gemini系列的也可以设到8K-16K。输出Token数过小,对于使用来讲会受到制约。
请描述你建议的实现方案
希望能够将AI模型的最大输出token数设定为自定义,由用户根据不同AI模型的输出参数来填写,而不是设4096这个上限。目前已知其他平台对输出token的上限基本都设在8K及以上。
附加信息