mmengine
mmengine copied to clipboard
[Feature] Default Sampler in Runner
What is the feature?
在runner中未对默认sampler进行定义,当config文件的dataloader不含有sampler时,会自动设置sampler为None,使用torch Dataloader默认的sampler。在单卡时不会出现问题,在多卡时会使得每张卡中的训练数据一样,显示的Epoch数也会相应出现问题。 建议加入默认Sampler的设定。
见https://github.com/open-mmlab/mmengine/blob/6c5eebb823e3c9381d63fd0cd1873ed1bd9ee9de/mmengine/runner/runner.py#L1396C34-L1396C34
Any other context?
No response
谢谢反馈。我们确实应该对 config 文件中不含有 sampler 的情况进行处理,短期内可能会在这个地方 raise error,之后会尝试加入默认 sampler。
如何在multi nodes下自定义distributed samplling 使得每个node只读取自己本地的那部分数据,加快训练过程呢?