itboy
itboy
We are also experiencing this problem in the production environment and hope to resolve it soon pprof list： ``` (pprof) list MergeURL Total: 489.08MB ROUTINE ======================== dubbo.apache.org/dubbo-go/v3/common.MergeURL in dubbo.apache.org/dubbo-go/[email protected]/common/url.go 271.67MB...
看着像是端口已经被占用，可以排查一下是什么服务占用了，更换一下其他服务的端口或者先停掉其他服务看看
可以把 llm 的回答拆开（根据长度+标点符号进行分割），分批按顺序进行处理，这样能缩短音视频流的延时。
max_session 控制的是 session 数量，用的还是同一个数字人形象，也就是可以支持更多人同时进行交互（互不影响）。 我理解目前一个服务应该是不支持不同的数字人形象，只能部署多个服务实现
> @licon 你有试过session 数最大是多少，这个值是否与显卡内存成正比呢 是成正比的，基本上需要的显存跟 session 数成倍数关系。
第一个问题我不清楚。 第二个问题，一个数字人推理服务只能跟一个人交互，也就是一个 offer 请求，其他人再发送 offer 请求会报错。需要多人同时不受影响的话，可以设置 max_session 来启动多个推理服务，弊端就是对计算资源需求成倍数增长。
手上有 3080 ti，测试过设置 batch_size 为 8、4 都不行，dtype设置为 float16 直接报错，要解决报错可能需要升级 pytorch，cuda，就不折腾了，看看有没有其他人有更好的办法
> @licon > > 1. 在 musereal.py 的 inference方法上添加 `@torch.no_grad()` 注解 > 2. 启动app.py时，设置batch_size为8或更小，我设置8可以正常运行 你的方法可以解决问题，非常感谢
可以通过部署多个数字人角色，然后客户端切换不同地址来实现？
Our team is in great need of this integration of Google Vetex AI.