如何平衡速度和显存使用？

Open NaughtDZ opened this issue 2 years ago • 1 comments

训练SDXL用的Lora，如果我不开启梯度检查点，16G显存必然会爆炸。但是开了的话，速度奇慢无比不说，显存占用只有11G反而浪费了。有啥优化设置能平衡一下速度和占用嘛？希望各位大佬能提点建议。

Nov 23 '23 09:11 NaughtDZ

是的，太慢了，训练sdxl没法用

Jan 12 '24 14:01 tangflash