ianmage
ianmage
Same issue here. And I suppose that the `sys.path.insert(0, ...` in nodes.py may cause a ambiguity between utils/ and comfy/utils.py
> 使用Anthropic Transformer直接透传呢,正常不 我测试了几个平台,发现是vllm的私有化部署DeepSeek会有这个问题,启动参数包括: ``` --enable-auto-tool-choice --tool-call-parser deepseek_v3 --chat-template tool_chat_template_deepseekv31.jinja ``` 并且transformer.use为[`tooluse`]时,vllm后端的错误是`ValueError: Grammar error: Unknown format: uri` . 但我比较倾向于问题点在['enhancetool'], 因为架构类似的模型Kimi-K2,在此模式下是正常可用的; 而DSV3.1在此模式下看似可能遇到了某个提前结束的符号,导致进度中断
经过多种途径的试验,现在大概率怀疑DeepSeek-V3.1的输出内容,在vllm和sglang得到的都是同样的结果(enhancetool)
> > 经过多种途径的试验,现在大概率怀疑DeepSeek-V3.1的输出内容,在vllm和sglang得到的都是同样的结果(enhancetool) > > [@ianmage](https://github.com/ianmage) 请问vllm部署的Kimi-K2你这边能正常使用吗?我和你碰到一样的问题,都是enhancetool无法调用工具 我这边测试 vllm 跑Kimi-K2是可以调用工具的,`--enable-auto-tool-choice --tool-call-parser kimi_k2`你可以检查下启动有没开这两个参数
> DeepSeek-V3.1不再需要任何`transformer` 另外vllm需要额外适配,因为v3.1是个混合模型,而推理的时候不支持工具调用 使用了vllm当前最新版本 ver 0.10.1.1,默认非思考模式(即未开启thinking=true),配置不使用transformer。 还是不能正确使用工具,表现都是回应了它要做的事情(比如读写文件),然后就停了,没有任何实际行动发生,无后续流程. 相似的参数跑Kimi-K2/GLM4.5都能正常执行,我看vllm官方的工具模板对DS-V3.1是单独提供的`https://github.com/vllm-project/vllm/blob/main/examples/tool_chat_template_deepseekv31.jinja`,这里与旧版v3的区别会不会在ccr这边导致工具流程的不同行为?
> > > > 经过多种途径的试验,现在大概率怀疑DeepSeek-V3.1的输出内容,在vllm和sglang得到的都是同样的结果(enhancetool) > > > > > > > > > [@ianmage](https://github.com/ianmage) 请问vllm部署的Kimi-K2你这边能正常使用吗?我和你碰到一样的问题,都是enhancetool无法调用工具 > > > > > > 我这边测试 vllm 跑Kimi-K2是可以调用工具的,`--enable-auto-tool-choice --tool-call-parser kimi_k2`你可以检查下启动有没开这两个参数 > > 你好,我是开启了的,我在CCR中使用kimi_k2也不是完全不能调用,而是调用了一两次或者不调用直接就停掉了。...