pytorch-distributed icon indicating copy to clipboard operation
pytorch-distributed copied to clipboard

您好,我想请问一下Pytorch 在多进程分布式训练的时候,一开始加载数据集dataloader的时候,由于是多进程的,就会导致多个进程一起加载dataloader,这些dataloder全部加载到内存中使得内存爆炸,请问有没有什么办法解决呢

Open 1456416403 opened this issue 4 years ago • 0 comments

1456416403 avatar Feb 23 '21 03:02 1456416403