XXXXRT666
XXXXRT666
> 目前的办法是把并行关掉就ok了 是稳定复现吗
建议去找知识星球技术指导,不是官方包
必须得等GPT推理完才能decode
api需要切分,不然流没意义
> > 必须得等GPT推理完才能decode > > > > 意思就是没办法边生成边传输吗?大佬还有啥办法提升推理速度吗?除了换显卡(苦笑) 文本切分传入切分标点
https://github.com/RVC-Boss/GPT-SoVITS/issues/2214#issuecomment-2780601984 在这里
https://lips.cs.princeton.edu/the-gumbel-max-trick-for-discrete-distributions/ https://timvieira.github.io/blog/post/2014/07/31/gumbel-max-trick/ https://huggingface.co/blog/cxdu/fastsampling 这三个blog说了为什么这么做
> 等一下,不好意思搞错了,有两个multinomial_sample_one_no_sync函数。 > > 在GPT_SoVITS/AR/models/utils里面的有被用到 是的, 这个就是一个很正常的从范畴分布采样