🐛 Bug / 部署问题:使用 DIT 的部署方式无法正常启动
🐛 Bug / 部署问题:使用 DIT 的部署方式无法正常启动 描述问题
在尝试使用仓库提供的 DIT 部署方式时,服务无法正常启动。按照官方文档所述步骤进行部署后,启动阶段会卡住或直接报错,无法完成正常初始化。
问题表现包括但不限于:
按文档指令运行后进程无法成功启动
依赖包版本在不同分支差异巨大,导致复现困难
官方仓库中缺乏一个明确、稳定、可用的流式部署分支
一些分支的代码结构较乱,部署指引也不一致
✅ 希望得到的支持
能否提供以下内容:
一个稳定、可复现的版本(tag / release / branch),用于
流式推理
高性能部署(GPU)
清晰的依赖版本列表(或提供 requirements.txt / environment.yml) 以确保用户可以按照固定版本成功复现。
更清晰规范的部署文档,特别是 DIT 相关的启动流程与参数说明。
https://github.com/FunAudioLLM/CosyVoice/blob/main/runtime/triton_trtllm/docker-compose.dit.yml 根本无法部署,频频卡住,官方的人自己试过启动么?
@wmj9346464543 有时候问题是和 docker 版本,gpu 驱动,cuda version, gpu卡的类型等相关的。你遇到什么问题,有报错信息或者 log 吗?可以贴上来或者加我的微信讨论 13679162366
官方的人自己试过启动么?
我是这个 PR 的贡献者,这些 recipe 我都是试了,本地没问题,才会 PR 的。
This issue is stale because it has been open for 30 days with no activity.