tiaotiaosong
Results
1
comments of
tiaotiaosong
> 非vLLM 版本流式输出效果不降，LLM推理大概610ms，flow开启trt190ms，听到第一段Speech大概810ms。 请问一下用的什么硬件配置，有没有教程？