chatglm.cpp icon indicating copy to clipboard operation
chatglm.cpp copied to clipboard

执行./build/bin/main -m chatglm-ggml.bin 卡住

Open JPChen2000 opened this issue 2 years ago • 0 comments

模型:chatGLM3-6b-22k 模型量化: python3 chatglm_cpp/convert.py -i ZhipuAI/chatglm3-6b-32k -t q4_0 -o chatglm-ggml.bin 环境:WSL2 CUDA11.8 RTX4070 编译:CUBLAS=ON

求助:执行./build /bin/main -m chatglm-ggml.bin -p 过程中有概率出现卡住的情况,文字输出不完整,但是GPU还在跑,程序无法退出,nvidia-smi被阻塞,此时通过kill 能杀掉进程,但是无法释放占用的GPU内存,

JPChen2000 avatar Nov 09 '23 03:11 JPChen2000