实时推理?

[kudou-reira]

太棒了！我只是在想，能否将其用作实时推理。例如，某人正在说话，而这个输出可以作为一种临时的头像。

如果不使用高分辨率GFPGAN放大，是否可以进行实时推理呢？

[AI796]

可以，尽量使用多块显卡，而且需要把预加载相关的代码从pipeline中摘出来

[DogeFlow]

可以，尽量使用多块显卡，而且需要把预加载相关的代码从pipeline中摘出来

已经将preprocess_model、audio_to_coeff、animate_from_coeff这三个模型从pipeline中摘出来了，进行预加载，但还是很慢。如5秒的音频，生成对应的视频需要将近20秒

[SnJForever]

我发现Face Renderer 的过程耗费了大量时间，需要60多秒，这部分是个for循环，所以我改造成了线程池并发执行，然而并没有提速，colab只有一块显卡，是这个原因吗？还有什么办法呢

[Peng2017]

如果不考虑硬件开销，简单的方法是直接切分流水段部署在triton上。triton会根据测试到的latency来给每个步骤分配合适数量的GPU资源

[huangxin168]

如果显卡都100%，切分也没用。 模型本身吃显卡，除非作者优化模型+部署加速+好的硬件，才有可能

[ooooooobh]

@DogeFlow 你好想问下你是怎么做的呢，这边也想做一个实时的转换播放

[mayurou]

latency

我理解python的线程并发并不是真的并发，不如多进程并发

[mayurou]

有人有成功提升速度的案例吗，求教～

[ooooooobh]

这玩意能改成go做么

从 Windows 版邮件https://go.microsoft.com/fwlink/?LinkId=550986发送

发件人: @.> 发送时间: 2023年6月20日 9:59 收件人: @.> 抄送: @.>; @.> 主题: Re: [OpenTalker/SadTalker] 实时推理? (Issue #110)

有人有成功提升速度的案例吗，求教～

― Reply to this email directly, view it on GitHubhttps://github.com/OpenTalker/SadTalker/issues/110#issuecomment-1598009864, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AGCYCNVAZHNNETM5G2DQUYLXMD7ZRANCNFSM6AAAAAAWZWLKQU. You are receiving this because you commented.Message ID: @.***>

[foocker]

可以参考这个： SadTalkerTriton 25 fps , 84 frames, cost 2.4s

[shaoxinghua0623]

可以，尽量使用多块显卡，而且需要把预加载相关的代码从pipeline中摘出来

大佬，怎么使用多块显卡呀？需要改哪里的代码呀?

[foocker]

可以，尽量使用多块显卡，而且需要把预加载相关的代码从pipeline中摘出来

大佬，怎么使用多块显卡呀？需要改哪里的代码呀?

参考下https://github.com/triton-inference-server/python_backend/tree/main/examples/instance_kind 或这里的一些文档。