CAN icon indicating copy to clipboard operation
CAN copied to clipboard

Published 20 hours ago • verified publisher icon LBH1024

内存溢出，在使用本代码在学校服务器上运行时，出现内存溢出的清况，大家有遇到这种情况嘛，该如何解决呢？

Open zengyangzang opened this issue 1 year ago • 3 comments

zengyangzang avatar May 24 '23 01:05 zengyangzang

有的，这个需要batchsize设置小一些，如果最开始跑占用的显存是5000MB左右，最后稳定的时候是8200多MB。

Vegemo-bear avatar May 24 '23 02:05 Vegemo-bear

降低batchsize，用apex半精度训练。

SuperHHzy avatar May 27 '23 13:05 SuperHHzy

多卡的话，就DDP，半精度在数据量足够多用(10w以上吧)，不然会不收敛

kingqiuol avatar May 30 '23 06:05 kingqiuol