tensorflow-handbook icon indicating copy to clipboard operation
tensorflow-handbook copied to clipboard

Published 20 hours ago • verified publisher icon snowkylin

多机训练问题

Open cdj0311 opened this issue 5 years ago • 0 comments

您好，感谢分享， 请教一个多机训练问题。 使用keras和tf.distribute.experimental.MultiWorkerMirroredStrategy()进行多机训练时，batch_size=batch_size * worker_num，那么输入的数据(tfrecord格式)需要切分成worker_num份吗？如果不切分，每个worker都读取所有的数据，这种分布式策略会不会自动对数据进行分发呢？

cdj0311 avatar Oct 14 '19 02:10 cdj0311