双LoRA网络实现风格融合

[ziwang-com]

https://github.com/Prsaro/lora_dualnetwork 双LoRA网络实现风格融合

Arxiv • 依赖 • 培训 • 测试 • 日志 • 引用 python license

从使用 lora 块权重的 LoRA 分层控制中汲取灵感， 我们开发了这个脚本.在 SD LoRA 模型中， 当多个 LoRA 模型堆叠时，可能会发生特征融合和崩溃， 极大地限制了 LoRA 模型的使用案例.为了缓解这个问题， 我们提出了一种新的 LoRA 训练方法，该方法涉及同时训练两个 LoRA 模型.这允许两个LoRA模型在训练过程中相互约束， 从而在高维空间中分离两个LoRA模型的特征并减少特征的耦合.