qwen3的enable_thinking字段解析错误
近期使用私有渠道的qwen3-235B,使用enable_thinking=false尝试关闭思考过程,发现通过new-api调用会导致此参数无效。 通过简单调试,看到直接在body中加入enable_thinking:false时,newapi可以解析并处理,但是目前qwen官方接受的范参数格式是:"chat_template_kwargs": {"enable_thinking": false} 使用chat_template_kwargs传入参数,newapi直接会忽略掉此参数,导致通过newapi调用qwen3时enable_thinking参数没办法使用。 希望可以修复
用参数覆盖
用参数覆盖,或者开启请求体透传,我现在就是这么搞的
因为chat_template_kwargs这个参数是VLLM或者SGLang的格式,我觉得可以专门适配一下这个参数,虽然用参数覆盖也可以,但是终究是有点麻烦
因为
chat_template_kwargs这个参数是VLLM或者SGLang的格式,我觉得可以专门适配一下这个参数,虽然用参数覆盖也可以,但是终究是有点麻烦
嗯明白,这个昨天已经加了,等下次发版本的时候带上
近期使用私有渠道的qwen3-235B,使用enable_thinking=false尝试关闭思考过程,发现通过new-api调用会导致此参数无效。 通过简单调试,看到直接在body中加入enable_thinking:false时,newapi可以解析并处理,但是目前qwen官方接受的范参数格式是:"chat_template_kwargs": {"enable_thinking": false} 使用chat_template_kwargs传入参数,newapi直接会忽略掉此参数,导致通过newapi调用qwen3时enable_thinking参数没办法使用。 希望可以修复
json 配置咋写的啊,求一个配置。。。。