DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

sdxl的diffutoon_toon_shading问题

Open lmpeng12 opened this issue 6 months ago • 2 comments

你好,我将模型替换为sdxl的sdxl_video.py,也拷贝使用了您的最新代码,尝试得到的结果,比sd1.5的差很多。发觉生图的每一帧,和原始图像差异很大,这里边使用有什么要特别注意下吗,我将代码的推理流程参照您的sd1.5的写了一次。能否简单降解下。 没有编写lets_dance_xl_with_long_video 的结果 https://github.com/user-attachments/assets/12e1a7b4-fe46-4f55-aafb-780c1433f2d9

编写了lets_dance_xl_with_long_video,并使用了canny的controlNet结果。但是感觉更加像是图生图模块没做好,是需要注意什么吗?我也加载了vae-fp16的了

https://github.com/user-attachments/assets/8a3a371f-6ab9-4c38-8daa-92a15e834aa3

原始的视频是这个

https://github.com/user-attachments/assets/36224c5d-6fb7-4fab-82d7-c72d1e299cc5

lmpeng12 avatar Aug 15 '24 02:08 lmpeng12