Shintaku

Results 11 comments of Shintaku

更改reader是因为分布式训练时不同节点上的文件顺序可能不一致(都是无序状态),split_file_list后不同节点可能读到相同的文件。sort以后保证每个节点的文件列表顺序一致,拆分读取各节点不会读到重复文件。