AAEE86
AAEE86
> I don't think it supports 128k output tokens. Output tokens is different from context tokens.`max tokens` https://docs.mistral.ai/getting-started/models/ https://mistral.ai/news/mistral-large-2407/   I referred to the materials provided officially.
https://docs.mistral.ai/getting-started/models/ The MAX Tokens for this page should be the context size. I didn't find max output tokens. I think it can be... 32K context size Set the max token...
> I don't think it supports 128k output tokens. Output tokens `max tokens` is different from context tokens. The modification has been completed. Please review.
@sxjeru 能否帮忙实现,我自己编程能力有限,研究了几天没能成功
> 我没有看懂你的需求,现在判断深度思考的逻辑就是 `` 标签,或者 `reason_content` 返回值,显示在模型上的“深度思考”标志只是一个提示,而不是功能开关,是否开启深度思考不是由模型决定的,而是返回结果。 我的意思是像qwen3这类模型是支持关闭深度思考的,但是自定义的AI 服务商目前没有开关来关闭思考
> 我知道了,只是各家控制深度思考的参数是不一样的,现在也是在一一专门适配,感觉拿不出一个通用方案给自定义模型提供商用。 参数不一样就只能一一适配,这个没办法。 现在的问题是,在无法实现通用方案的情况下,如何在自定义的AI 服务商中对支持关闭思考的模型增加开关
> 我知道了,只是各家控制深度思考的参数是不一样的,现在也是在一一专门适配,感觉拿不出一个通用方案给自定义模型提供商用。 获取模型列表 aiModel.getAiProviderModelList,获取到的参数不一样 Qwen服务商 ``` { "abilities": { "functionCall": true, "reasoning": true }, "contextWindowTokens": 131072, "description": "Qwen3是一款能力大幅提升的新一代通义千问大模型,在推理、通用、Agent和多语言等多个核心能力上均达到业界领先水平,并支持思考模式切换。", "displayName": "Qwen3 235B A22B", "enabled": true, "id": "qwen3-235b-a22b", "maxOutput": 8192, "organization": "Qwen",...
> 对于 qwen3 可以考虑用模型自带的思考软开关,在聊天开头加入 /no_think 以避免思考。 > > 是的,为保证通用性,自定义服务商传递的参数会少很多。 /no_think 的确可以,但是think情况下无法控制Token消耗
> 那能不能把自定义服务商直接填到 Qwen 那里呢,看能不能用。 可以 虽然不太优雅,但的确没啥问题😂😂
This month will be supported.