蒸馏过程是否是必要的

[kxding]

Q只和对应圆形范围内的KV相乘 这个过程是一定要train吗？ 如果直接infer结果会不会也有差不多的效果？

[Huage001]

你好，

直接infer效果和用sd1.5直接生成1024x1024以上分辨率的图类似，有重复pattern的问题，所以训练是必要的。可以参阅preprint附录图11的loss曲线，初始loss值比较大。