Zhengxiao Du comments

Results 163 comments of


                                            Zhengxiao Du

[Feature] <title>折磨好的项目，没有微调教程，着实可惜

Duplicate of #3

改成能在colab下跑起来就好了，colab内存最大13G，跑不起来

可以直接使用量化后的模型`THUDM/chatglm-6b-int4`

[Feature] m系列的mac启用gpu

> > [#6 (comment)](https://github.com/THUDM/ChatGLM-6B/issues/6#issuecomment-1474260291) > > `int64` is supported on MacOS 13.3 Βeta, and you should also use the nightly build of pytorch. > > I tried to use mps...

[Feature] 如何在上面训练一个任务型对话

Duplicate of #3

[Feature] 是否支持多主机并行？

多机多卡不适合通常的inference场景，因为多机之间的通信带宽通常无法满足延时要求，所以不会支持

[BUG/Help] ImportError: cannot import name 'GENERATION_CONFIG_NAME' from 'transformers.utils'

What's your transformers version?

RuntimeError: Library cublasLt is not initialized[BUG/Help] <title>

> > 我也遇到了同样的问题 cli_demo web_demo 没问题也能吃上gpu 跑 train就报这错 3090 24G显卡 windows环境 pytorch==2.0.0 > > 我也是一样的问题，cuda版本11.2 pytorch==1.13.1 你试一下安装 [cudatoolkit](https://developer.nvidia.com/cuda-toolkit) 呢

运行python web_demo.py报错

应该是内存不足，可以尝试使用INT4量化的模型 https://huggingface.co/THUDM/chatglm-6b-int4

[Help] ChatGLM-6B/ptuning/下面的训练脚本支持多卡训练吗？

把`CUDA_VISIBLE_DEVICES`改成你要用的显卡列表

[Help] ChatGLM-6B/ptuning/下面的训练脚本支持多卡训练吗？

> > > > 我改成CUDA_VISIBLE_DEVICES=0,1之后，会卡死等很久，然后自动中断我刚刚测试可以跑。你可以把具体的信息发出来看一下有没有遇到类似的问题的