关于数据分片

Open RikonYu opened this issue 5 years ago • 3 comments

请问分布式训练的时候对数据分片是只有dat文件需要分片么，train,test,val.id三个文件需要么。谢谢。

Apr 14 '20 07:04 RikonYu

数据分片是为了分布式load图数据，train,test,val.id三个文件不需要

Apr 17 '20 06:04 alinamimi

数据分片是为了分布式load图数据，train,test,val.id三个文件不需要

谢谢，那请问这三个文件需要如何提供给分布式的euler呢？放在本地么？

Apr 17 '20 07:04 RikonYu

保证训练的worker读到自己的train test val id就好

Apr 17 '20 07:04 alinamimi