模型加载问题

[ftgreat]

https://github.com/OpenBMB/ModelCenter/blob/main/examples/cpm2/pretrain_cpm2.py#L24

请问这里模型初始化是不是每卡都会执行？ 如果模型很大，可能内存OOM。谢谢您的解答。