lovewater

I have fixed this problem by doing this. But there is no hdmi audio, strange! https://github.com/thenickdude/KVM-Opencore/issues/56

我在RTX5070ti上测得开启TRT后速度进步明显。最新版本TRT必须搭配流式输出使用，非常奇怪但也只有忍了。 FP16选项开和关，在5070ti上速度相差不大，但fp16更快。 最后：消费级显卡从2080系开始就支持fp16了这不是什么新鲜玩意儿。

同问！

> use_flow_cache=False 不对啊，我的设置: load_jit=False, load_trt=True, fp16=False, use_flow_cache=False 删除plan文件文件件列表： asset CosyVoice-BlankEN flow.encoder.fp16.zip llm.pt campplus.onnx flow.cache.pt flow.encoder.fp32.zip README.md configuration.json flow.pt speech_tokenizer_v2.onnx cosyvoice2.yaml flow.decoder.estimator.fp32.onnx hift.pt 然后启动还是报这个错，我看这个是写到断言里的，和这个plan没啥关系啊。没有trt加速，这玩意慢得有点离谱啊

> > > use_flow_cache=False > > > > > > 不对啊，我的设置: load_jit=False, load_trt=True, fp16=False, use_flow_cache=False 删除plan文件文件件列表： asset CosyVoice-BlankEN flow.encoder.fp16.zip llm.pt campplus.onnx flow.cache.pt flow.encoder.fp32.zip README.md configuration.json flow.pt speech_tokenizer_v2.onnx cosyvoice2.yaml flow.decoder.estimator.fp32.onnx hift.pt...

是的，就是在拉倒车，流式之后音质还有损失，没以前好了。我已经在生产环境退回1月份的代码了

我在生产环境上了新版，被客户吐槽惨了……现在退回cosyvoice2在1月份的代码和模型了

它这个新的推理框架没做完造成的，开启TRT就必须开启流式。速度虽然上来了但流式对生成音频的音质有影响。我换了1月份老版本cosyvoice2的推理代码和1月份的模型，开启TRT，关闭流式，速度还还不错。2080ti 22GB 的rtf在 0.6-1.0之间。

我用的这个版本的代码：commit 08312f4c4615b465d66ff55036be1cbd642904e6 老版本的模型用的 from modelscope import snapshot_download snapshot_download('aiwantaozi/CosyVoice2-0.5B', local_dir='CosyVoice2-0.5B') > [@lovewater](https://github.com/lovewater) 能分享包吗? 我想做下对比?

3080 10GB版本吗？那估计只有fp16了，我跑fp32时，开启trt需要14GB显存， @anton-liam