Pig255
Pig255
> @qxde01 多谢指导。是的，多卡确实会增加额外的通信成本，但是我好奇的是，既然耗时相同，那么对于ChatGLM模型而言，多卡的优势体现在哪里呢？我同时实现了另一个github开源项目，https://github.com/Facico/Chinese-Vicuna 他是以llama为基础模型的，当中他的多卡确实耗时速度会多于单卡。 这样看来多卡与单卡实际上是和算法模型强相关的吗？ 本人初学者，对训练方式不是很熟悉，麻烦您在指导一下 万分感谢 我这边看，直接改visible_device，多卡还不如单卡
> > > same err here > > > > > > 官方一直都没回，估计是还没支持这个模型，我试了下InternVL3_5-1B是可以部署的 > > 似乎MoE都不太行，另外 5B ViT 的那个38B是不是也有点小问题？加载不了 InternVL3_5-30B-A3B also MoE model. It works with vLLM 0.10.2
It seems such problem not solved yet, I met the same error