Zhangzq

> 参考 https://github.com/THUDM/GLM/tree/main Pretrain Run the following script to pre-train the GLM-Large model > > bash scripts/ds_pretrain_nvidia.sh config/ds_block_large.sh The script [scripts/ds_pretrain_nvidia.sh](https://github.com/THUDM/GLM/blob/main/scripts/ds_pretrain_nvidia.sh) launches the training program with DeepSpeed. You should change...

> https://github.com/shibing624/MedicalGPT/blob/main/pretraining.py 这个是chatglm6b的预训练。 好的，我们也用这个在训了，感谢~

请问下您全量微调用的GPU显存多大呀？我们用了3块24GB的GPU，但是第一块GPU报了OOM，其余的GPU没满，请问您有遇到这种问题吗？

同遇到了这个问题，请问如何解决？

> 同遇到了这个问题，请问如何解决？ 重装transformers到4.33.2就可以，亲测有效

请问能发一下用来训练的模型文件吗？我这边mac无法安装triton不能用sat代码来下，然后清华开源的模型又有问题。。。

遇到这个问题+1，请问解决了吗？

> > 遇到这个问题+1，请问解决了吗？ > > 请检查所有的模型路径和分词器路径是否为本地路径，默认是THUDM/Visualglm-6b，如果本地运行的话，需要把路径修改到本地的相应位置，如果能直接访问到huggingface，应该不会发生这个问题 visual-glm修改成了本地路径，chatglm那个没看到修改的位置

> > > > 遇到这个问题+1，请问解决了吗？ > > > > > > > > > 请检查所有的模型路径和分词器路径是否为本地路径，默认是THUDM/Visualglm-6b，如果本地运行的话，需要把路径修改到本地的相应位置，如果能直接访问到huggingface，应该不会发生这个问题 > > > > > > 都修改成了本地路径，我们这边机器无法访问huggingface > > 你需要提前把所需要的模型，和分词器都下载到本地，然后在把路径修改到相应路径 这里是sat模型下载链接 https://www.wisemodel.cn/models/ZhipuAI/VisualGLM-6B-SAT/file 通过cli-demo下载了，长这样是对的吗？

> https://hf-mirror.com/ 那分词器是也需要放在visualglm-6b文件夹下吗？