Zac Liu

fp16的model最好是用fusedAdam来进行训练

感谢配合，我们正在进行测试。 另外，请问这个有训练好的模型吗？我们想直接将这个模型上传到[modelhub](https://model.baai.ac.cn/models)，可以吗？

我们在FlagAI的框架中集成了Megatron和Deepspeed的支持。 在训练33B模型的时候，如果是2台A100 40G的机器情况下对比，我们得到了上述的结论，详细的信息整理会后发出来。

应该24G显存的显卡是可以跑7B的Aquila系列

I have a similar problems. > Traceback (most recent call last): File "/data/liuguang/Sailing/tests/test_trainer_deepspeed.py", line 193, in print(model(**batch)) File "/opt/conda/lib/python3.8/site-packages/torch/nn/modules/module.py", line 889, in _call_impl result = self.forward(*input, **kwargs) File "/opt/conda/lib/python3.8/site-packages/deepspeed/runtime/engine.py", line...