mmengine
mmengine copied to clipboard
Published
20 hours ago •
open-mmlab
open-mmlab
[Feature] about iterabledataset or webdataset
What is the feature?
希望能支持 IterableDataset 或者 webdataset 的处理方式。随着训练数据越来越大，采用基于webdataset的数据读取方式越来越重要。现有的基于map-style的dataset方式很容易卡io，使得GPU的性能无法完全发挥。绝大部分时间都在索引和读取训练数据。
Any other context?
No response
