Pig255

> @qxde01 多谢指导。是的，多卡确实会增加额外的通信成本，但是我好奇的是，既然耗时相同，那么对于ChatGLM模型而言，多卡的优势体现在哪里呢？我同时实现了另一个github开源项目，https://github.com/Facico/Chinese-Vicuna 他是以llama为基础模型的，当中他的多卡确实耗时速度会多于单卡。 这样看来多卡与单卡实际上是和算法模型强相关的吗？ 本人初学者，对训练方式不是很熟悉，麻烦您在指导一下 万分感谢 我这边看，直接改visible_device，多卡还不如单卡