GLM-10B怎么使用模型并行

[Yiran-Zhu]

请教一个关于模型并行的问题，python change_mp.py path_to_the_checkpoint 2命令中的path_to_the_checkpoint该怎么设置呢？ 是从huggingface下载的权重地址吗 /home/xxx/.cache/huggingface/hub/models--BAAI--glm-10b/snapshots/abf4a89b8dff080609bc0db4720e47d784474a52/pytorch_model.bin

[duzx16]

目前transformers里的实现不支持模型并行。要使用模型并行的话必须使用本仓库的代码。用到的checkpoint可以从https://github.com/THUDM/GLM#pretrained-models下载。

[wangerxiao001]

你好 请问MP_size大于1 continue pretrained后的模型 怎么转换成transformer模型进行测试呢