pytorch-distributed
pytorch-distributed copied to clipboard
您好,我想请问一下Pytorch 在多进程分布式训练的时候,一开始加载数据集dataloader的时候,由于是多进程的,就会导致多个进程一起加载dataloader,这些dataloder全部加载到内存中使得内存爆炸,请问有没有什么办法解决呢