szcCL2333

我也是用多GPU训练还没找到怎么改

> 可以使用TPU,速度是gpu 15到30倍；抢占式一个小时v3-8 有128g显存，15元一小时。 是说用谷歌的colab白嫖吗？训练好的模型拉到本地会不会很慢啊

> 不会；你也可以用google cloud的付费TPU付费的。一般在领域上适应、基于已经预训练过的模型，一天足够了 wow，好的我试试

> 不会；你也可以用google cloud的付费TPU付费的。一般在领域上适应、基于已经预训练过的模型，一天足够了 谢谢大佬

> 不会；你也可以用google cloud的付费TPU付费的。一般在领域上适应、基于已经预训练过的模型，一天足够了 请问readme里面说的对显存的要求是基于多大的显存来说的，我试了TPU要保存模型需要开GPS需要信用卡，于是打算用horovod框架在4张p40上面预训练，按理说4*22G的显存也不小了，一直报OOM

same question