orbits comments

Results 12 comments of


                                            orbits

PP-DocLayoutV2 没有提供inference.json参数文件，导致ONNX转换失败

但是依然有算子报错的问题 @TingquanGao

多卡运行模型启动报错，单卡运行正常

试过pip uninstall pynvml可行

Cannot use functions when deploying local model

111

how to enable batch inference with embedding/rerank model?

或许这是企业版的功能？

qwen3-32B模型，function call没有实现ReAct模式么

> qwen-agent会自行把tools等结构化的信息，按照template format成模型能看懂的文字，你看到的阿里云接口只是封装了一层数据接口，本质上也会对数据做这个format的操作哈。 @tuhahaha 你好，也就是说vllm启动时可以不开启tool call参数？ ``` --enable-auto-tool-choice \ --tool-call-parser hermes ```

用户调用多，出现bug，到2500后自动卡死

same issue

用户调用多，出现bug，到2500后自动卡死

> > same issue > > 也是上面一样的日志吗？ logs/local_1729066531438/xinference.log打印： 2024-10-16 08:53:34,093 xoscar.backends.core 8 WARNING Actor caller has created too many clients (940 >= 100), the global router may not be set....

cannot use vllm to infer ovis2.5

@JumpingRain

cannot use vllm to infer ovis2.5

@elisaife 我重新从modelscope上下载了权重，就可以了