ChatGLM-Efficient-Tuning icon indicating copy to clipboard operation
ChatGLM-Efficient-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon hiyouga

accelerate分布式训练

Open Cheung-Z opened this issue 1 year ago • 1 comments

关于accelerate的使用有一些困惑： 1、代码中没有accelerate相关方法的调用，例如accelerator.prepare()等，为什么使用accelerate launch便可以直接进行分布式训练呢？2、deepspeed方面，accelerate_config.yaml和DeepSpeedPlugin的作用一致吗？ 望予以解答，不胜感激

Cheung-Z avatar Jul 11 '23 09:07 Cheung-Z

Huggingface 的 Trainer API 中集成了上述所有逻辑，因此我们不需要在代码中额外定义。 Accelerate 是 Huggingface 的加速框架，集成了 Deepspeed 的功能

hiyouga avatar Jul 11 '23 09:07 hiyouga