[Question]: AltDiffusion-m18训练请教

[Pe4nutZz]

Description

请第二阶段是第一次使用文本的所有内容进行训练，第二次一句话丢掉10%的内容（相应位置置零）在进行训练吗？这样是可以提高模型的鲁棒性吗

Alternatives

No response

[superhero-7]

对，第二次就是直接把图文pair对的文本置空就行了；这样做其实是有一个原理叫classifier free guidance的，可以了解一下~也是follow了stable的训练流程

[Pe4nutZz]

好的，多谢

[Pe4nutZz]

大佬，在请教一下我在diffusers库里面直接把encoder_hidden_states置位None会报错，请问你们是基于diffusers库去训练的吗

[superhero-7]

我们是基于官网的那套代码做的，不是基于diffusers，不过用diffusers也应该是OK的

[Pe4nutZz]

方便给一下你们参考的链接吗

[ftgreat]

先关闭，如有问题重新打开issue，谢谢