stevensy123
stevensy123
同样的问题，VLLM0.7.2版本启动的模型，关闭流输出可以返回内容，开启则返回为空，用Postman测试模型启动没问题，流和非流都正常
解决了，跳过oneapi转发，直接用fastgpt的新增模型进行添加。应该是oneapi版本和推理引擎不匹配的原因。
@qinxuye 请大神指点下
@codingl2k1 日志文件里没有其他的警告和报错 只是不断的输出上述内容 每增加10个client就增加一行 现在不清楚100的限制是在哪里添加的 如何可以修改100的限制还有2500，其实不影响使用
> This `InvalidStateError` has been fixed by this PR: [xorbitsai/xoscar#87](https://github.com/xorbitsai/xoscar/pull/87) Are you using the latest xinference? v0.13.0，This problem does not affect the use. Too many clients is the problem I...