pytorch-lightning-template icon indicating copy to clipboard operation
pytorch-lightning-template copied to clipboard
verified publisher icon miracleyoo

Multi-GPU and distributed training support

Open HopLee6 opened this issue 4 years ago • 2 comments

HopLee6 avatar May 06 '21 06:05 HopLee6

这是pytorch-lightning默认支持的。 --gpus=N 即可，N为你的GPU数量。

miracleyoo avatar Jul 05 '21 14:07 miracleyoo

如果加了 training_epoch_end 的实现，不需要在这个函数下面将所有的卡的loss gather到一起吗？ 对于validation_epoch_end 不需要将所有卡的 结果 gather到一起吗？

ghoshaw avatar Aug 17 '22 08:08 ghoshaw