wfgods

补充一下，因为直接pip安装chatglm_cpp会报错，我使用的是（https://github.com/li-plus/chatglm.cpp/releases/tag/v0.3.0）下载的chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl进行安装的，安装指令为下载好的文件存储路径下 $env:CMAKE_ARGS="-DGGML_CUBLAS=ON"; pip install chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl。 是不是跟这个有关系呢？小白求指点

求问大佬，我用了量化后的chatGLM3模型，编译也没报错，但是推理一直在CPU进行，GPU没用到，在编译时已经写了-DGGML_CUBLAS=ON。 详细的写在-DGGML_CUBLAS=ON，编译成功之后无法使用显卡进行推理，仍然使用CPU进行推理 #241 大佬能帮忙看看怎么回事么？