wafer9

流式推理效果 疑问

7

 在cosyvoice2论文中，llm流式和非流式差距很小， 但我测试test-zh时发现，流式要比非流式差。推理过程中有随机性存在，所以我推理的十次，平均后，非流式cer=1.399%，流式cer=3.227%。 流式和非流式推理代码如下 ``` python def text_generator(txt): yield txt if is_stream: input_text = text_generator(text) else: input_text = text for i, j in enumerate(cosyvoice.inference_zero_shot(input_text, prompt_text, prompt_speech_16k, stream=True)): audios.append(j['tts_speech']) ``` 同时llm.py...