HeterSumGraph icon indicating copy to clipboard operation
HeterSumGraph copied to clipboard

Published 20 hours ago • verified publisher icon dqwang122

内存问题

Open JR-s763 opened this issue 1 year ago • 4 comments

训练的时候内存一直在增长，直到爆内存？

JR-s763 avatar Apr 13 '23 11:04 JR-s763

训练的时候内存一直在增长，是由于Dataloader多线程读取数据造成内存泄漏，单线程读取数据又太慢，有没有其它办法

JR-s763 avatar Apr 14 '23 03:04 JR-s763

训练的时候内存一直在增长，是由于Dataloader多线程读取数据造成内存泄漏，单线程读取数据又太慢，有没有其它办法

请问你解决这个问题了吗，我训练CNN那个数据集时也是的，从没遇到过这样的代码，内存占用都上100G了

willer-lu avatar Oct 12 '23 14:10 willer-lu

训练的时候内存一直在增长，是由于Dataloader多线程读取数据造成内存泄漏，单线程读取数据又太慢，有没有其它办法

请问你解决这个问题了吗，我训练CNN那个数据集时也是的，从没遇到过这样的代码，内存占用都上100G了 我Num_worker为0的时候内存没有继续长，我的情况是在服务器上多线程读数据造成的内存泄漏

JR-s763 avatar Oct 16 '23 07:10 JR-s763

You can check my repo ext-sum

JainitBITW avatar Mar 21 '24 07:03 JainitBITW