内存数据集和外存数据集的训练方式对比

[eedalong]

[eedalong]

使用内存数据集时，由于进程中已包含全部的数据，所以使用Ray时无需做额外的操作。但是使用外存数据集时，用户开发Dataset时应了解该Dataset可能会被调度到其他机器节点执行，尽量避免在Dataset的init函数中做机器相关的操作如打开文件句柄等。这些操作应当推迟到Dataset第一次被迭代执行时完成。