always-H
Results
2
issues of
always-H
请问作者之后会不会更新兼容DeepSpeed的训练脚本呢？ 在训练过程中初步尝试了使用DeepSpeed在四个节点上进行预训练，但是，ZeRO2似乎没发挥作用，占用GPU显存和传统的ddp相同。
### Your current environment The output of `python collect_env.py` ```text Your output of `python collect_env.py` here ``` Collecting environment information... PyTorch version: 2.6.0+cu124 Is debug build: False CUDA used to...
bug