SadTalker icon indicating copy to clipboard operation
SadTalker copied to clipboard

mac m2芯片16g内存,生成个5秒钟的视频用了20分钟,这个也太慢了吧,求助!!!!

Open RomaYang opened this issue 1 year ago • 11 comments

有什么加快生成速度的解决办法吗?求助 @vinthony

RomaYang avatar Aug 10 '23 07:08 RomaYang

我用online生成5秒的视频,也巨慢无比...

RomaYang avatar Aug 10 '23 07:08 RomaYang

同问? 怎么利用macbook的mps

halcyonwalker avatar Aug 11 '23 05:08 halcyonwalker

唉,m1 pro 9秒视频,花了30多分钟。另外用4090的PC可以降到10秒级别,但GPU占用才10%,同问如何追加对GPU的占用,起到加速效果?

zpj824 avatar Aug 17 '23 06:08 zpj824

我3秒的视频,合成用了50多分钟,cpu占用百分之二百多,gpu为0,大佬,支持一下M1的gpu啊

NiuMl avatar Aug 18 '23 04:08 NiuMl

确实需要很大算力,我用4090 1080p的图 1分钟都得将近10分钟呢..

Good0007 avatar Sep 08 '23 06:09 Good0007

Guys, for M1/M2 Apple silicon, please refer to this link, you'll be amazed: https://github.com/OpenTalker/SadTalker/discussions/457

请参考上面的链接,在Apple Silicon上面特别慢的原因是Conv3D暂时没有针对苹果的优化版本。所以用pirender分支,切换成使用PIRender来生成人脸。速度提高非常明显。

genglinxiao avatar Sep 09 '23 23:09 genglinxiao

请问是怎么配出来的M2.....

tammy-txt avatar Oct 18 '23 13:10 tammy-txt

请问是怎么配出来的M2.....

按照#457链接里面的说明切换到pirender即可。 但是,中间我升级了一次a1111,之后界面上的切换按钮不见了,也没法使用pirender了,暂时还没找到解决办法。

genglinxiao avatar Dec 06 '23 00:12 genglinxiao

Guys, for M1/M2 Apple silicon, please refer to this link, you'll be amazed: #457

请参考上面的链接,在Apple Silicon上面特别慢的原因是Conv3D暂时没有针对苹果的优化版本。所以用pirender分支,切换成使用PIRender来生成人脸。速度提高非常明显。

在按照指引的方式使用pirender分支执行的过程中:

tts_models/multilingual/multi-dataset/xtts_v2 is already downloaded. Using model: xtts Running on local URL: http://127.0.0.1:7860

To create a public link, set share=True in launch(). using safetensor as default {'checkpoint': 'checkpoints/SadTalker_V0.0.2_256.safetensors', 'dir_of_BFM_fitting': 'src/config', 'audio2pose_yaml_path': 'src/config/auido2pose.yaml', 'audio2exp_yaml_path': 'src/config/auido2exp.yaml', 'pirender_yaml_path': 'src/config/facerender_pirender.yaml', 'pirender_checkpoint': 'checkpoints/epoch_00190_iteration_000400000_checkpoint.pt', 'use_safetensor': True, 'mappingnet_checkpoint': 'checkpoints/mapping_00229-model.pth.tar', 'facerender_yaml': 'src/config/facerender.yaml'} load [net_G] and [net_G_ema] from checkpoints/epoch_00190_iteration_000400000_checkpoint.pt /tmp/gradio/5721435e2f98be9c384c6b779b11bd43e3f8b898/image.png landmark Det:: 100%|██████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.66s/it] 3DMM Extraction In Video:: 100%|██████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.31s/it] mel:: 100%|████████████████████████████████████████████████████████████████████████████| 348/348 [00:00<00:00, 96958.80it/s] audio2exp:: 100%|███████████████████████████████████████████████████████████████████████████| 35/35 [00:02<00:00, 13.15it/s] FaceRender:: 78%|████████████████████████████████████████████████████████▍ | 273/348 [00:14<00:02, 36.16it/s]/AppleInternal/Library/BuildRoots/90c9c1ae-37b6-11ee-a991-46d450270006/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShaders/MPSCore/Types/MPSNDArray.mm:126: failed assertion `[MPSNDArrayDescriptor sliceDimension:withSubrange:] error: the range subRange.start + subRange.length does not fit in dimension[2] (348)' zsh: abort sudo python app_sadtalker.py

请问这个是什么原因?

timoyang avatar Apr 07 '24 14:04 timoyang

Guys, for M1/M2 Apple silicon, please refer to this link, you'll be amazed: #457 请参考上面的链接,在Apple Silicon上面特别慢的原因是Conv3D暂时没有针对苹果的优化版本。所以用pirender分支,切换成使用PIRender来生成人脸。速度提高非常明显。

在按照指引的方式使用pirender分支执行的过程中:

tts_models/multilingual/multi-dataset/xtts_v2 is already downloaded. Using model: xtts Running on local URL: http://127.0.0.1:7860

To create a public link, set share=True in launch(). using safetensor as default {'checkpoint': 'checkpoints/SadTalker_V0.0.2_256.safetensors', 'dir_of_BFM_fitting': 'src/config', 'audio2pose_yaml_path': 'src/config/auido2pose.yaml', 'audio2exp_yaml_path': 'src/config/auido2exp.yaml', 'pirender_yaml_path': 'src/config/facerender_pirender.yaml', 'pirender_checkpoint': 'checkpoints/epoch_00190_iteration_000400000_checkpoint.pt', 'use_safetensor': True, 'mappingnet_checkpoint': 'checkpoints/mapping_00229-model.pth.tar', 'facerender_yaml': 'src/config/facerender.yaml'} load [net_G] and [net_G_ema] from checkpoints/epoch_00190_iteration_000400000_checkpoint.pt /tmp/gradio/5721435e2f98be9c384c6b779b11bd43e3f8b898/image.png landmark Det:: 100%|██████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.66s/it] 3DMM Extraction In Video:: 100%|██████████████████████████████████████████████████████████████| 1/1 [00:02<00:00, 2.31s/it] mel:: 100%|████████████████████████████████████████████████████████████████████████████| 348/348 [00:00<00:00, 96958.80it/s] audio2exp:: 100%|███████████████████████████████████████████████████████████████████████████| 35/35 [00:02<00:00, 13.15it/s] FaceRender:: 78%|████████████████████████████████████████████████████████▍ | 273/348 [00:14<00:02, 36.16it/s]/AppleInternal/Library/BuildRoots/90c9c1ae-37b6-11ee-a991-46d450270006/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShaders/MPSCore/Types/MPSNDArray.mm:126: failed assertion `[MPSNDArrayDescriptor sliceDimension:withSubrange:] error: the range subRange.start + subRange.length does not fit in dimension[2] (348)' zsh: abort sudo python app_sadtalker.py

请问这个是什么原因?

我也遇到了这个问题,调整了资源和参数都不行,请问找到解决办法了吗?

yinghuochong avatar Apr 14 '24 15:04 yinghuochong

有M2上加速成功的吗?

jimmyken avatar Apr 17 '24 08:04 jimmyken