chatglm.cpp
chatglm.cpp copied to clipboard
li-plus
C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4(V)
Cannot seem to compile chatglm for Windows, any ideas? $ cmake --build build -j MSBuild version 17.6.3+07e294721 for .NET Framework MSBUILD : error MSB1009: Project file does not exist. Switch:...
Currently `chatglm.cpp` provides `Pipeline` for users. The `Pipeline` class provides a method called `chat`, which handles the system prompt, chat history, output formatting and more. This is awesome. But for...
你好，非常感谢作者的工作和无私奉献 通过对比我发现以下两个问题： 1.chatglm-6b的chatglm.cpp首个token的推理速度比Python版本慢了好几倍，特别是输入长度大于100。 2. 输入长度超过1000字符，chatglm.cpp的结果更差，输出的长度比Python版本短了50%以上。 机器型号：CPU型号：Intel(R) Xeon(R) Platinum 8475B，CPU核数：16，内存：60Gi 模型精度 | 模型推理版本 | 输入长度(字) | 输出长度(token) | 第一个token耗时 | 非流式输出总耗时 | 总耗时 | 剩余token平均耗时 -- | -- | -- |...
由于想要使用 cuda 加速，我添加了对应环境变量 ”CMAKE_ARGS“=“-DGGML_CUBLAS=ON” 后使用 ```pip install git+https://github.com/li-plus/chatglm.cpp.git@main``` 命令安装并编译。 然后尝试运行命令 ```streamlit run .\chatglm.cpp\examples\chatglm3_demo.py``` 报错如下： ``` 2024-05-09 11:46:26.304 Uncaught app exception Traceback (most recent call last): File "E:\python\Lib\site-packages\streamlit\runtime\scriptrunner\script_runner.py", line 600, in...
模型转换的是q4_0的，在执行examples/cli_demo.py -m chatglm-ggml.bin -i 时，从第二轮对话开始推理速度就会变的越来越慢，请问应该怎么解决？
OS: Debian GNU/Linux 12 Python 3.9.17 pip 23.2 报错： ``` # pip install -U chatglm-cpp Collecting chatglm-cpp Using cached chatglm-cpp-0.2.0.tar.gz (2.5 MB) Installing build dependencies ... done Getting requirements to...
I get an error with pip install chatglm.cpp due to problem with wheel despite multiple troubleshooting attempts. Details are: Context: want to use Chinese LLMs in xinference. Windows machine (local);...
不好意思我是完全的新手，已經卡在這個錯誤一周以上，希望可以得到一點協助， 若是以下錯誤資訊提供不完全請再告訴我。 我目前已經成功安裝 cpp 版本的 chatglm ( 也就是可以生出chatglm-ggml.bin )， 可是當我想要安裝 python bindings 時，執行 `pip install -U chatglm.cpp` 會遇到以下錯誤 : ``` Collecting chatglm-cpp Using cached chatglm-cpp-0.3.0.tar.gz (2.6 MB) Installing build dependencies...
