LengthGroupedSampler 根据length排序是必要的吗？

[shockjiang]

如题 在LengthGroupedSampler中，会根据每个样本token length进行排序，这样的必要性是什么呢？

[pppppM]

https://xtuner--664.org.readthedocs.build/zh-cn/664/acceleration/length_grouped_sampler.html

可以先参考下我们正在撰写的文档，会对 gpu 利用率有比较大的影响

[sunye23]

https://xtuner--664.org.readthedocs.build/zh-cn/664/acceleration/length_grouped_sampler.html

可以先参考下我们正在撰写的文档，会对 gpu 利用率有比较大的影响

你好，我有两个问题，请问分布式训练的时候如果想断点后resume模型需要将config中的save_optimizer设置为True吗，我设置为True之后每次resume在加载dataloader的时候都需要耗费大量的时间，请问这有什么解决方法吗