chatglm.cpp
chatglm.cpp copied to clipboard
li-plus
C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4(V)
目前可以在苹果M1/M2的arm架构编译，想知道怎么可以在普通的linux环境和arm64架构上面编译成功，目前直接编译会出现错误 
cmake编译已经成功，但运行./build/bin/main -m models/chatglm-ggml.bin -p 你好时报错， '.' 不是内部或外部命令，也不是可运行的程序 或批处理文件。 是不是不能直接在windows上运行呀？
```python >首先是对glm3和glm4模型做量化，我下载并使用glm-3-6b-chat和glm-4-9b-chat完整的模型做量化：(量化精度都是q8_0) chatglm.cpp# python3 chatglm_cpp/convert.py -i /glm-3-6b-chat/ -t q8_0 -o models/chatglm3-q8_0-ggml.bin chatglm.cpp# python3 chatglm_cpp/convert.py -i /glm-4-9b-chat/ -t q8_0 -o models/chatglm4-q8_0-ggml.bin >然后分别使用两个量化模型，调用function calling的功能，在此参考作者官方的cli_demo.py 先是测试glm3的量化模型： /chatglm.cpp/examples# python3 cli_demo.py -m /chatglm.cpp/models/chatglm3-q8_0-ggml.bin --temp 0.1...
花了大概两天的时间，终于把ChatGLM.cpp的CUDA环境编译成功了，我觉得应该要指出一些问题来 系统环境： Windows 11 Pro Python 3.10 CMake 3.30 CUDA 12.3 ->12.6 过程： 首先直接编译，注意到第一个问题就是在cmd下直接使用set CMAKE_ARGS="-DGGML_METAL=ON" 在cmd中的得到的是'"-DGGML_METAL=ON"'的str值 在setup.py 60line中并没有直接对item进行strip操作，导致传进cmake_args的参数是一个带有引号的参数，导致编译的时候不是按照cuda的版本编译的，应该修改 修改之后，注意到第二个问题是版本问题。README中没有提及，但是要编译CUDA版本，对CUDA要求至少是要12.4以上，所以我才从12.3版本升级到了12.6版本 这里插一个小插曲，应该是NVIDIA的锅。CUDA Toolkit没有正确处理MSBuildExtensions，导致出现No CUDA toolset found的错误。不知道这是个例问题还是版本问题。解决方法可以看[https://stackoverflow.com/a/77085810](https://stackoverflow.com/a/77085810) 升级之后，注意到nvcc不支持flag -Wno-expansion-to-defined。这个是在CMakeList 11line出现的。作者标明了# suppress ggml warnings。具体我没怎么了解这个flag是否是版本差异还是OS差异，但至少在Windows下的CUDA...
CMake Error at third_party/sentencepiece/CMakeLists.txt:15 (cmake_minimum_required): Compatibility with CMake < 3.5 has been removed from CMake. Update the VERSION argument value. Or, use the ... syntax to tell CMake that the...
想先f16的ggml再gguf,然后再Q5 [youngchaos@youngchaos-t58v chatglm.cpp]$ python3 chatglm_cpp/convert.py -i /home/youngchaos/pretrained_models/CharacterGLM-6B -t f16 -o ./chatglm-ggml.bin Traceback (most recent call last): File "/home/youngchaos/chatglm.cpp/chatglm_cpp/convert.py", line 563, in main() File "/home/youngchaos/chatglm.cpp/chatglm_cpp/convert.py", line 555, in main convert( File...
