zhuzhu

> > 鼓捣半宿重新在本地部署了Fun-CosyVoice3-0.5B，0样本克隆出来的TTS内容效果一塌糊涂，动不动就把某些句子重复一遍，完全没有CosyVoice2-0.5B稳定 > > 重复的话是不是因为 prompt 格式不对？比如这样写：You are a helpful assistant.希望你以后能够做的比我还好呦。 试试呢？ 这个不是万能的，还是会重复

vllm在wsl中用不了啊，rtx 3070 8G，Windows 11 INFO 12-16 18:05:19 [worker.py:291] the current vLLM instance can use total_gpu_memory (8.00GiB) x gpu_memory_utilization (0.40) = 3.20GiB INFO 12-16 18:05:19 [worker.py:291] model weights take 0.70GiB; non_torch_memory...

VLLM已经在WSL跑起来了，VLLM_Example.py中的 cosyvoice = AutoModel(model_dir='pretrained_models/Fun-CosyVoice3-0.5B', load_trt=False, load_vllm=True, fp16=True) 这里的load_trt 源代码设置为True，改为false跳过加载就可以成功运行VLLM， 另外webui跑不起来，升级下gradio版本就好了

> fp16=True的话你的能够正常使用吗？我的是生成的音频没有任何声音。我用Linux服务器部署设置load_trt=True是能够正常使用的。 cosyvoice = AutoModel(model_dir='pretrained_models/Fun-CosyVoice3-0.5B', load_trt=False, load_vllm=True, fp16=True) 是正常的，只是有些文本截断过长，导致语音缺失，另外load_trt=True以后不是会出现'pretrained_models/Fun-CosyVoice3-0.5B/flow.decoder.estimator.fp32.onnx' 这个文件找不到吗？你目录下有这个文件啊？