cosyvoice2使用vllm部署怎么支持异步流式推理呢

[wmj9346464543]

有没有计划支持vllm+cosyvoice2使用异步流式推理提高并发能力呢

[aluminumbox]

cosyvoice一直是异步推理，支持并发

[superme32767]

有没有计划支持vllm+cosyvoice2使用异步流式推理提高并发能力呢

请问这个问题解决了吗？作者说cosyvoice一直是异步推理，我怎么没注意到相关的异步推理在哪呢

[superme32767]

为什么把llm_engine替换async_llm_engine进行异步推理时，会出现Engine iteration timed out. This should never happen!请求超时的情况，有大佬遇到过这种情况吗？

[wizounovziki]

cosyvoice一直是异步推理，支持并发

请问是否有相关说明？看到推理函数里写的都是同步方法。