RecBole dataloader加载数据时希望有prefetch功能

dataloader加载数据时希望有prefetch功能

Open taoxuewen opened this issue 2 years ago • 2 comments

请问下有prefetch吗，有可能是我没有发现，如果有的话，望指导一下在哪里配置，谢谢！因为现在GPU利用率不高

Jul 18 '22 11:07 taoxuewen

还有想问下好像没看到多线程加载数据～，麻烦解答下，多谢🙏

Jul 18 '22 12:07 taoxuewen

@taoxuewen 感谢您对伯乐的关注！目前伯乐并不支持prefetch和多线程加载数据。在下个版本中，我们可能尝试加入这些功能。敬请期待！

Jul 24 '22 03:07 leoleojie

您好 @taoxuewen！

我们团队在 2022 年的 10 月 5 日发布了伯乐的 1.1.1 版本，现在伯乐的框架已经支持分布式的训练和验证，您可以参考我们的文档来获取更多细节和使用实例。

由于 issue 的低活跃度，我们将关闭该 issue。若您有新的问题，欢迎提出新的 issue。感谢您对伯乐的关注！

Feb 09 '23 08:02 Sherry-XLL