多卡训练

[so-as]

您好。该代码是单卡训练代码，尝试改成多卡训练，用torch.nn.DataParallel对model包一下，跑代码会报错“dataparallel' object has no attribute” ？训练过程中把用到的model 都改为model.module，不再报错，可是会导致只用gpu_id训练。 请问实验过程中，多卡训练，您是怎么实现的呢？期待您的回复，感谢

[yym6472]

你好，我们实验过程中因为数据量不大，并没有多卡的需求，所以都是用单卡训练的；多卡训练的话我这边目前也没有太多经验。