GeneFacePlusPlus icon indicating copy to clipboard operation
GeneFacePlusPlus copied to clipboard

使用step250000的模型生成的视频身体会消失,step100000则没有该情况

Open T0L0ve opened this issue 1 year ago • 8 comments
trafficstars

使用自己训练的模型生成视频时使用step250000的模型生成的视频身体会消失,step100000则没有该情况。 step100000 image step250000 image

T0L0ve avatar Feb 23 '24 01:02 T0L0ve

看看你的损失是不是出问题了,要么就是你拿head推理的,而不是torso

Net-Maker avatar Feb 23 '24 03:02 Net-Maker

看训练日志在第200000步时loss从0.031178424,提升到了5.4469901991 log_20240222084743.txt

T0L0ve avatar Feb 23 '24 07:02 T0L0ve

你的推理命令的--torso_ckpt 和--head_ckpt有没有填错呢

Net-Maker avatar Feb 23 '24 07:02 Net-Maker

python inference/app_genefacepp.py --a2m_ckpt=checkpoints/audio2motion_vae --head_ckpt= --torso_ckpt=checkpoints/motion2video_nerf/obama_torso 就是按照gradio的启动命令填的。 我感觉是训练过程中出的问题,日志里的validation结果中生成的图片就没有身体。

T0L0ve avatar Feb 23 '24 09:02 T0L0ve

我也遇到过这个问题,重新训练torso就好了

jinqiupeter avatar Feb 23 '24 13:02 jinqiupeter

请问有遇到训练后画质变模糊么?

souyang11 avatar Mar 20 '24 03:03 souyang11

the same question .I just train the head with 50000 steps,but the result video is vague

https://github.com/yerfor/GeneFacePlusPlus/assets/80878326/afb12ca7-f8b8-4bb1-9820-7d31891f070d

KelvinHuang66 avatar Mar 29 '24 09:03 KelvinHuang66

看训练日志在第200000步时loss从0.031178424,提升到了5.4469901991 log_20240222084743.txt

20000step开始训练嘴唇

KelvinHuang66 avatar Mar 29 '24 09:03 KelvinHuang66