AniPortrait

AniPortrait copied to clipboard

EchoMimic is capable of generating portrait videos not only by audios and facial landmarks individually, but also by a combination of both audios and selected facial landmarks. Project link: https://badtobest.github.io/echomimic.html...

lymhust

感谢您们出色的工作，但我注意到一些小小的问题，我想是否能在以下几个角度和您进行讨论：1. 我注意到您们相当于使用显式关键点作为条件，在类似FOMM / LivePortrait / follow your emjio这类的工作中，都采用了一个小网络来将关键点进行隐式表示，这样是否可以降低由于drive视频检测到的关键点本身抖动带来的偏差（生成视频很抖动）；2. 在Cross Attn层加入Clip特征是否有助于人脸细节的生成，或许也能降低一些推理时降噪步数；3. 先前的模型会时不时有奇怪的手生成出来，能否通过将VFHQ / Vecelvhq清洗一下进行微调来修复这个问题呢？4. 现在的模型推理时实在是太慢了，诚然，也许LCM之类的技术或许能进一步大幅降低推理时间；但出于一些别的考虑，这个模型本身是否能做的更小一些呢？

sixone-Jiang

看了一下论文，我的理解是： （1）audio-driven 是用audio预测landmark序列，然后结合单张图片合成与语音相匹配的视频 （2）face reenacment是直接基于视频中的帧生成landmark序列，然后结合单帧合成与语音相匹配的视频，这里面没有音频参与，是这样吗？ （3）self-driven又是什么情况? 仅仅是参考视频和要修改的图片是同一个人吗

gobigrassland

I find in the "stage1.yaml" file `max_train_steps` is set to 300,000, and I want to ask is it really necessary to train such a long schedule? In animate anyone paper,...

Vincent-luo

https://github.com/Zejun-Yang/AniPortrait/assets/51695272/1fe11dac-3a5a-48d4-9387-49a68c92b913 作者大大，这是怎么回事？ 数据问题？ 训练次数不够？

onedotone-wei

python 的script执行命令行，能不能添加以下参数说明阿，生成的视频默认是左中右三段式的，怎么能生成单独的三个视频？

5hiramchen

Hi, thanks for the open-source! I ran `/scripts/preprocess_dataset.py` but I don't think the 6d pose sequences were extracted, can you please let me know how to do this? Do you...

roudimit

你好，是不是可以通过 bs 直接计算 mesh，然后找到对应的关键点，进行人脸驱动？52个表情基在哪可以找到呢？

wangjue-wzq

Audio2Vid输出尺寸

2

设置H,W为256时效果特别差，需要更改相应的参数吗

1180300611haobowen

HuggingFace demo occurred error

1

It seems that Hugging Face demo is not available. I used example data. Eventually, gradio demo occurred error and result doesn't exist.

Akasan