mmengine icon indicating copy to clipboard operation
mmengine copied to clipboard

[Feature] Default Sampler in Runner

Open KyanChen opened this issue 1 year ago • 2 comments

What is the feature?

在runner中未对默认sampler进行定义,当config文件的dataloader不含有sampler时,会自动设置sampler为None,使用torch Dataloader默认的sampler。在单卡时不会出现问题,在多卡时会使得每张卡中的训练数据一样,显示的Epoch数也会相应出现问题。 建议加入默认Sampler的设定。

见https://github.com/open-mmlab/mmengine/blob/6c5eebb823e3c9381d63fd0cd1873ed1bd9ee9de/mmengine/runner/runner.py#L1396C34-L1396C34

Any other context?

No response

KyanChen avatar Oct 14 '23 01:10 KyanChen

谢谢反馈。我们确实应该对 config 文件中不含有 sampler 的情况进行处理,短期内可能会在这个地方 raise error,之后会尝试加入默认 sampler。

YiyaoYang1 avatar Nov 01 '23 09:11 YiyaoYang1

如何在multi nodes下自定义distributed samplling 使得每个node只读取自己本地的那部分数据,加快训练过程呢?

ray-lee-94 avatar Nov 29 '23 02:11 ray-lee-94