Trench

在branch ziya_finetune里有Ziya finetune的代码，是通过tensor_model_parallel_size的方法实现的，但是张量并行似乎对多机不太支持，请问如果我想多机训练的话，有什么办法吗？目前我在8个节点，每个节点一张A100(80G)（可能由于训练数据，没法在单张A100上加载模型） 提前先感谢你们的帮助🙏

Thanks for your wonderful work. The bottle-neck of MOSS may lie in datasets used in the pretrain phase. We want to continue pretrain MOSS on multi datasets like 悟道, Wikipedia...