new-api
new-api copied to clipboard
使用extra_body来控制思考不生效反馈,希望可以直接在不开启透传请求体,直接可以传递extra_body参数,function call能正常使用
例行检查
- [ x] 我已确认目前没有类似 issue
- [x ] 我已确认我已升级到最新版本
- [x ] 我已完整查看过项目 README,尤其是常见问题部分
- [ x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x ] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
问题描述 使用extra_body={"chat_templete_kwargs":{"enable_thinking": False}},请求不生效
复现步骤
- 模型渠道开启透传请求体,在对话场景可以
- 如果开启透传请求体,使用function call时,extra_body={"chat_templete_kwargs":{"enable_thinking": False}}依旧不生效
预期结果
相关截图
同样遇到此问题!
- extra_body 不是一个单独的参数,只是SDK的用法
- 对于这个vllm会使用的字段会在下个版本添加