BIN
BIN
https://github.com/user-attachments/assets/08f3e8b0-aa61-4f8c-bc3b-2a8bf107840a 这种嘴部糊问题是模型还是视频导致的
in diffusers.src.diffusers.models,它提供的diffusers目录和代码里的不一样
可以的 我是改的源码，在inference里启动n个gpu进程，然后每个进程都加载一边模型，将数据切分交给gpu运算 最后在拼接，
import argparse import os from operator import truediv from queue import Empty from mpmath import monitor from omegaconf import OmegaConf import numpy as np import cv2 import torch import glob...
里面需要自己改一下输出的默认文件夹和gpuid等，websocket可以注释掉，这块我之前用来传输实时输出的
我这边做了基于musetalk的实时同步输出以及视频帧 但是目前muse的实时模型在一些模板视频上效果不太好，头晃动的时候嘴部会花，可以留个联系方式讨论一下
> > > > Realtime 有实时帧输出，可以结合原始音频做同步，目前我这边是这么做的，不知道有没有更好的方法？ > > > > > > > > > 获取实时帧输出后，用什么方法合成呢？ > > > > > > 你可以看下 realtime_inference.py 里面 process_frames 的代码，对于音视频同步，可以自己通过音频时长，和生成帧数计算时间戳 > > 能不能给个demo...