CosyVoice
CosyVoice copied to clipboard
cosyvoice2使用vllm部署怎么支持异步流式推理呢
有没有计划支持vllm+cosyvoice2使用异步流式推理提高并发能力呢
cosyvoice一直是异步推理,支持并发
有没有计划支持vllm+cosyvoice2使用异步流式推理提高并发能力呢
请问这个问题解决了吗?作者说cosyvoice一直是异步推理,我怎么没注意到相关的异步推理在哪呢
为什么把llm_engine替换async_llm_engine进行异步推理时,会出现Engine iteration timed out. This should never happen!请求超时的情况,有大佬遇到过这种情况吗?
cosyvoice一直是异步推理,支持并发
请问是否有相关说明?看到推理函数里写的都是同步方法。