[Feature]想了解下推理速度与显存消耗

Open Ming-Zhou0201 opened this issue 1 year ago • 3 comments

如题，文档中没有关于GPU下TTS推理性能的情况，想大致了解下另外中英混的效果如何呢？ 🙏🙏

Aug 01 '24 15:08 Ming-Zhou0201

4060推理大约15tokens/s，具体效果可以自行测试。编译后大概是100tokens/s.

Aug 02 '24 04:08 PoTaTo-Mika

4060推理大约15tokens/s，具体效果可以自行测试。

感谢大佬

Aug 02 '24 05:08 ghost

我这里4060 laptop推理大约30tokens/s，编译后大约130tokens/s

Aug 02 '24 12:08 Xiaodu233

请问下，“编译后”是指加streaming=True这个编译参数吗，我这边加上之后，速度没怎么变，还是30tokens/s呢。

Feb 18 '25 10:02 Zhmz

请问下，“编译后”是指加streaming=True这个编译参数吗，我这边加上之后，速度没怎么变，还是30tokens/s呢。

自己看文档

Feb 18 '25 10:02 PoTaTo-Mika