STMTrack
STMTrack copied to clipboard
fzh0917
out of memory
在只改变Batchsize的情况下，当我在一个台 i9-10900k 64GB内存 、3090服务器上使用全数据集训练时，发现内存占用会逐渐上升，并在第13-14个epoch发生内存溢出，这在之前训练时是没有发生过的，而且我除了修改训练配置并未修改任何其他代码，请问是什么原因呢？
在只改变Batchsize的情况下，当我在一个台 i9-10900k 64GB内存 、3090服务器上使用全数据集训练时，发现内存占用会逐渐上升，并在第13-14个epoch发生内存溢出，这在之前训练时是没有发生过的，而且我除了修改训练配置并未修改任何其他代码，请问是什么原因呢？
是内存溢出还是显存溢出？训练配置除了batch_size外，还有修改其他内容吗？
在只改变Batchsize的情况下，当我在一个台 i9-10900k 64GB内存 、3090服务器上使用全数据集训练时，发现内存占用会逐渐上升，并在第13-14个epoch发生内存溢出，这在之前训练时是没有发生过的，而且我除了修改训练配置并未修改任何其他代码，请问是什么原因呢？
是内存溢出还是显存溢出？训练配置除了batch_size外，还有修改其他内容吗？
除了将batchsize 20，num workers 16外，还将sync bn置为false
如果是内存溢出的话，可以尝试把DataLoader的
pin_memory参数设置为False。
您好，将pin_memory设置为False之后，内存还是逐渐占满并溢出。请问除了参数设置，还有可能是其他因素影响吗，比如数据集图片、训练环境之类的。