I8Robot

The WeChat group is out of data

没有修改测试代码吧，或者你修改了测试代码后用了之前的模型，整个人脸就会是黑灰色

> Hi@I8Robot, thanks for your attention. Based on the font results generated by FontDiffuser, you can try the hugging face demo from this [link](https://huggingface.co/spaces/hysts/ControlNet-v1-1) under the mode of `Instructpix2pix`. Thanks

> Use landmarks from data/processed/videos/name/lms_2d.npy to match movements. Double chin can be fixed by making model bigger. > > Our test result: https://www.youtube.com/watch?v=7trnfpx0WPE Hi, your result is amazing! "Double chin...

What a pity! The LIP dataset don't have Torso lable: 

> 我也觉得很奇怪，起初我以为是我自己训练的问题，然后用官方may的模型，结果也是这个样子 您这边自己训练的会这样吗？我训练的视频也很标准，就是按照现在数字人供应商要求的标准拍摄的，然后截取转换为512和25帧的格式 你这肯定不对啊，你得把你所有操作步骤贴上来。要是环境和官方一样，训练推流步骤也和官方一模一样肯定是不会有问题的。

> > mark一下，我也出现这个问题了。人物合成时嘴部里面会有背景绿幕。 > > 只是在部分帧的时候出现这个问题，如果是批量mark由于人物头部有晃动，会导致mark后的区域和原来区域有割裂感觉。具体是怎么样处理的呢 他这个mark是网络用语，就是表示关注一下，之后这个issue有回复有解决方案他能收到消息，他也遇到这个问题了，相等一个解决方案。你这里面说的不是mark是mask吧？

> I am also having this issue how to reolve? not yet

> I also have an issue where for some training videos, the entire head seems to shake and jitter... have you seen this? Yes, I have the same problem, and...

> 用hubert模式推理出来的视频是花屏的！请各位大神指导以下呗！ 训练步数：10W torso 训练 15W 推理代码： ..\venv\python data_utils/hubert.py --wav demo/15s.wav ..\venv\python main.py data/%dataset% --workspace model/trial_%dataset%_torso -O --test --asr_model %asr_model% --aud ./demo/15s_hu.npy > > 【下面链接视频演示】 https://github.com/ZiqiaoPeng/SyncTalk/assets/75459234/aaddccbd-3acc-4341-a384-018c65818124 和你的一样，用的ave