gg22mm

我也是一样的问题，上面讲我看都是扯淡， 压根就不是环境问题好么，怎么解决？？？？？？？？？？？： 好郁闷，写了几行代码这么多兼容问题~~  

> 目前通过在train的时候去掉 --quantization_bit 4 这个选项，放弃4bit量化可以跑通。 说得对 去掉--quantization_bit 4 确实是没这个报错了， 不知道官方有没有发现？

还有就是预测也是一样的问题，预测还没没有这个参数

> 我也遇到了同样的问题 cli_demo web_demo 没问题 也能吃上gpu 跑 train就报这错 3090 24G显卡 windows环境 pytorch==2.0.0 老问题了，关注那么久也没看到有个说法

> 相同的问题，8张40G V100跑不起来，CUDA out of memory. zero2 zero3都不行，empty_init 也试了不行，是模型底层没有支持并行？，每张卡都必须满参数？ wo cao 这么牛逼~~

> 官方的训练代码是可以支持多卡训练的，不用自己修改代码 需要引入下面这个变量 CUDA_VISIBLE_DEVICES=0,1 这个没有效果的 。 不要搞错了。。 就算你是预测，如果不用 model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 你只用 CUDA_VISIBLE_DEVICES=0,1 是不行的，你这个一直 都 只是理论上可以的事，实际是不行的。 要不然也不用推出： model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 方案了

> > > 官方的训练代码是可以支持多卡训练的，不用自己修改代码 需要引入下面这个变量 CUDA_VISIBLE_DEVICES=0,1 > > > > > > 这个没有效果的 。 不要搞错了。。 > > 就算你是预测，如果不用 model = load_model_on_gpus("./THUDM/chatglm-6b", num_gpus=2) 你只用 CUDA_VISIBLE_DEVICES=0,1 是不行的，你这个一直 都 只是理论上可以的事，实际是不行的。 要不然也不用推出： model =...

> 卡的推理上，会有性能提升吗？ > 单卡8G 用INT8 显存够用就行，要不然不能运行起来现在的，如果能运行起来不是 越大就越快，而是算力高的卡才快

> 意应该和单卡显存无关吧 你单张卡都24G了， 已经够运行了，所以你不会有这个问题的

> 不是，哥们，你没看到我是双卡在训练吗。。 启动不了啊，哥。 如果你觉得没人问题，你找一个11G 两个卡来测试，如果能过我2000块打给你