longSky

You may not understand what I mean exactly. What I mean is that the interface and operation of the official web version and client version are different from the interface...

>  出现错误： ./build/bin/main: error while loading shared libraries: libggml.so: cannot open shared object file: No such file or directory 这个需要pip install .，有的是直接pip install chatglm_cpp，都可以的，这个其实和cpp还是有关系的，这个主要就是实现C++加速推理嘛

那需要你二次开发了，比如存到向量数据库的

pip install .，也可以

是通过openai_api.py来做APIServer报错的吧？ 那么可以尝试给chatglm_cpp改名或者在chatglm_cpp下执行命令，都是可以解决问题的。 问题应该是chatglm_cpp.openai_api有冲突，一个之前pip install的时候已经有chatglm_cpp，而当前文件夹又是chatglm_cpp，下面的__init__.py就引用了chatglm_cpp._C

> 补充一下，因为直接pip安装chatglm_cpp会报错，我使用的是（[https://github.com/li-plus/chatglm.cpp/releases/tag/v0.3.0）下载的chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl进行安装的，安装指令为下载好的文件存储路径下](https://github.com/li-plus/chatglm.cpp/releases/tag/v0.3.0%EF%BC%89%E4%B8%8B%E8%BD%BD%E7%9A%84chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl%E8%BF%9B%E8%A1%8C%E5%AE%89%E8%A3%85%E7%9A%84%EF%BC%8C%E5%AE%89%E8%A3%85%E6%8C%87%E4%BB%A4%E4%B8%BA%E4%B8%8B%E8%BD%BD%E5%A5%BD%E7%9A%84%E6%96%87%E4%BB%B6%E5%AD%98%E5%82%A8%E8%B7%AF%E5%BE%84%E4%B8%8B) $env:CMAKE_ARGS="-DGGML_CUBLAS=ON"; pip install chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl。 是不是跟这个有关系呢？小白求指点 我看其他issue有说，github上面的release是CPU版的，GPU不同版本编译的都不一样

> 补充一下，因为直接pip安装chatglm_cpp会报错，我使用的是（[https://github.com/li-plus/chatglm.cpp/releases/tag/v0.3.0）下载的chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl进行安装的，安装指令为下载好的文件存储路径下](https://github.com/li-plus/chatglm.cpp/releases/tag/v0.3.0%EF%BC%89%E4%B8%8B%E8%BD%BD%E7%9A%84chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl%E8%BF%9B%E8%A1%8C%E5%AE%89%E8%A3%85%E7%9A%84%EF%BC%8C%E5%AE%89%E8%A3%85%E6%8C%87%E4%BB%A4%E4%B8%BA%E4%B8%8B%E8%BD%BD%E5%A5%BD%E7%9A%84%E6%96%87%E4%BB%B6%E5%AD%98%E5%82%A8%E8%B7%AF%E5%BE%84%E4%B8%8B) $env:CMAKE_ARGS="-DGGML_CUBLAS=ON"; pip install chatglm_cpp-0.3.0-cp310-cp310-win_amd64.whl。 是不是跟这个有关系呢？小白求指点 我知道问题所在了！虽然一开始cmake已经使用-DGGML_CUBLAS=ON，但是你也说了运行web_demo的时候还会报错。 这个时候，其实还需要你自己解决这个问题，这个时候你可以pip install .（我看也有写pip install chatglm_cpp的都行），这个时候再运行web_demo就不报错了。这个时候呢，你会发现运行起来推理还是用CPU！ 我也是后来才发现，其实pip install .的时候也进行了cpp的编译，然后我就这么pip install：CMAKE_ARGS="-DGGML_CUBLAS=ON" pip install .，就是啊，这个时候也需要-DGGML_CUBLAS=ON。再次运行web_demo，推理就是用GPU了！！你试试，我自己是搞成了。

> 机器配置i7-12700F，3060显卡12GB显存，64GB 内存。 可以先观察下推理的时候到底用的CPU还是GPU

> 请问下你们有试过GPU版本的么，我试了怎么编译都是用CPU推理 我也存在这个问题，虽然有GPU，但是一直用CPU推理