qiuyouli
Results
3
comments of
qiuyouli
Is there any solution now, about the timestamp level
> 有没有计划支持vllm+cosyvoice2使用异步流式推理提高并发能力呢 请问这个问题解决了吗？作者说cosyvoice一直是异步推理，我怎么没注意到相关的异步推理在哪呢
为什么把llm_engine替换async_llm_engine进行异步推理时，会出现Engine iteration timed out. This should never happen!请求超时的情况，有大佬遇到过这种情况吗？