参考指引安装docker后，运行cli_demo.py，提示killed

[songqiangchina]

root@b3d1bd08095c:/chatGLM# python3 cli_demo.py INFO 2023-06-06 21:17:40,876-1d: loading model config llm device: cuda embedding device: cuda dir: /chatGLM flagging username: 27903ec3559f49dd9f8fdb1a1c0830e8

INFO 2023-06-06 21:17:42,295-1d: Note: NumExpr detected 12 cores but "NUMEXPR_MAX_THREADS" not set, so enforcing safe limit of 8. INFO 2023-06-06 21:17:42,295-1d: NumExpr defaulting to 8 threads. Loading chatglm-6b-int4... No compiled kernel found. Compiling kernels : /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.c Compiling gcc -O3 -fPIC -pthread -fopenmp -std=c99 /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.c -shared -o /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.so Kernels compiled : /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.so Load kernel : /root/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4/quantization_kernels_parallel.so Setting CPU quantization kernel threads to 6 Using quantization cache Applying quantization to glm layers Killed

[songqiangchina]

补充信息： linux: Linux version 5.15.90.1-microsoft-standard-WSL2 (oe-user@oe-host) (x86_64-msft-linux-gcc (GCC) 9.3.0, GNU ld (GNU Binutils) 2.34.0.20200220) #1 SMP Fri Jan 27 02:56:13 UTC 2023 python: Python 3.8.10 langchain-ChatGLM commit id: dc52bb134daa6f49517552c771c214f28efd2c10

[hzg0601]

看报错信息，感觉是你没有GPU或者GPU的cuda版本出了问题，你需要给出的GPU和CUDA版本信息才能判断

[bk007lz]

我也遇到同样的问题了，如何解决？版本如下 2.0.1+cu117 True True

[hzg0601]

要给出 GPU的cuda版本，不是torch的cuda版本

[balablb]

要给出 GPU的cuda版本，不是torch的cuda版本

你好，我电脑上面的CUDA信息是这样的 但是docker的cuda安装信息是12.1.0，我要怎么做才能把CUDA的版本对应上？现在无法启动

[darkneu]

要给出 GPU的cuda版本，不是torch的cuda版本

你好，我电脑上面的CUDA信息是这样的 但是docker的cuda安装信息是12.1.0，我要怎么做才能把CUDA的版本对应上？现在无法启动

把安装的cuda卸载了，再去搜索相关教程即可，这是我推荐的文章https://blog.csdn.net/weixin_72056722/article/details/126651703?ops_request_misc=&request_id=&biz_id=102&utm_term=Torch%20not%20compiled%20with%20CUDA%20e&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~sobaiduweb~default-1-126651703.142^v88^koosearch_v1,239^v2^insert_chatgpt&spm=1018.2226.3001.4450