MinhuiWan

根据megatron框架的对比测试，zero3策略，megatron使用from apex.optimizers import FusedAdam as Adam 比 TencentPretrain中使用的deepspeed.ops.adam.DeepSpeedCPUAdam，GPU利用率高

> > > Hi [@sphish](https://github.com/sphish), The process works, but the performance does not seem to meet expectations. > > > env:嗨@sphish，这个过程是有效的，但性能似乎没有达到预期。 > > > > > > 1. H100 80GB...

> > > > > Hi [@sphish](https://github.com/sphish), The process works, but the performance does not seem to meet expectations. > > > > > env:嗨[@sphish](https://github.com/sphish)，这个过程是有效的，但性能似乎没有达到预期。嗨@sphish，这个过程是有效的，但性能似乎没有达到预期。 > > > > >...