DiffSynth-Studio icon indicating copy to clipboard operation
DiffSynth-Studio copied to clipboard

diffutoon添加lora跟没加一样

Open DestoryVIP opened this issue 1 year ago • 1 comments

作者您好,我最近在测试视频转绘,所使用的项目是diffutoon。 之后参照controlnet unit的方式写入配置文件。

"lora_units": [
                        {
                            "model_path":"models/lora/浮雕风格_01_relief.safetensors",
                            "scale":0.6,
                            "keywords":"relief"
                        }
                    ],

然后通过在load_pipeline函数中使用model_manager.load_lora()进行引入。

        for unit in lora_units:
            model_manager.load_lora(unit['model_path'], lora_alpha=unit['scale'])

但是实践下来发现,添加了Lora之后效果没有任何作用。在提示词中已加入<lora: lora_name: 1.0> 和 激活keyword

这里给出一个Bad demo,供复现该问题:

  1. checkpoint地址: https://www.liblib.art/modelinfo/0a20dd42f4234c79a3a8a00231cfc92e?from=search&versionUuid=0754624a7a1b49c9814ac9e48624787c
  2. lora地址:https://www.liblib.art/modelinfo/8e47c4e19a5742d08d0fb4c2a157f982?from=search&versionUuid=bac899291c084b02b0a735426fe0c8f2

DestoryVIP avatar Nov 22 '24 02:11 DestoryVIP

你好!请问您的问题解决了嘛?

LUOMIA avatar Jan 09 '25 09:01 LUOMIA