majel

cosyvoice2使用vllm部署怎么支持异步流式推理呢

4

有没有计划支持vllm+cosyvoice2使用异步流式推理提高并发能力呢

🐛 Bug / 部署问题：使用 DIT 的部署方式无法正常启动

3

🐛 Bug / 部署问题：使用 DIT 的部署方式无法正常启动 描述问题 在尝试使用仓库提供的 DIT 部署方式时，服务无法正常启动。按照官方文档所述步骤进行部署后，启动阶段会卡住或直接报错，无法完成正常初始化。 问题表现包括但不限于： 按文档指令运行后进程无法成功启动 依赖包版本在不同分支差异巨大，导致复现困难 官方仓库中缺乏一个明确、稳定、可用的流式部署分支 一些分支的代码结构较乱，部署指引也不一致 ✅ 希望得到的支持 能否提供以下内容： 一个稳定、可复现的版本（tag / release / branch），用于 流式推理 高性能部署（GPU） 清晰的依赖版本列表（或提供 requirements.txt / environment.yml） 以确保用户可以按照固定版本成功复现。...

启动命令 flashtts serve --model_path /app/ckpt/Spark-TTS-0.5B --backend sglang --role_dir data/roles --llm_device cuda --tokenizer_device cuda --detokenizer_device cuda --wav2vec_attn_implementation sdpa --llm_attn_implementation sdpa --torch_dtype "bfloat16" --max_length 1024 --llm_gpu_memory_utilization 0.8 --fix_voice --host 0.0.0.0 --port 报错...