Tswings

关于gradient_accumulate_step

1

我设置一个更小的gradient_accumulate_step=5，仍然会有OOM的问题，如下。是GPU太小的问题吗？如果我用4个GPU该怎么分配呢，我在config里设置各分配两个，仍然会报错。 GPU +-----------------------------------------------------------------------------+ | NVIDIA-SMI 418.67 Driver Version: 418.67 CUDA Version: 10.1 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap|...