chatglm.cpp
chatglm.cpp copied to clipboard
li-plus
C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4(V)
感觉ChatGLM3-6B模型转换后回答质量没有ChatGLM2-6B的效果好，经常出现回复中英文混搭、循环输出直至达到最大长度等问题。 之前ChatGLM2-6B-32K的模型转换后这个问题很明显，但ChatGLM2-6B基本上没这种问题。 现在ChatGLM3-6B的模型不论是原始8K的模型还是32K的模型，这个问题都很突出，能否优化一下啊？
@li-plus 目前测试用了模型的tool/func调用功能，发现只能完成tool的单次调用，还无法做自动完成更长的思维链(多次调用)，希望通过langchain调用chatglm.cpp实现这个需求，但是貌似目前关于tool/func调用还没适配langchain。在chatglm3原生模型项目wiki看到适配方式(https://zhipu-ai.feishu.cn/wiki/X5shwBPOBiDWyNkwZ6xcd33lnRe)，请问有适配计划吗？ 
CLI方式和web方式执行全部报错zsh: illegal hardware instruction，笔记本mac os M1
能否提供对P100 GPU的支持，谢谢！ 我虽然使用了： CMAKE_ARGS="-DGGML_CUBLAS=ON -DCUDA_ARCHITECTURES="60"" pip wheel git+https://github.com/li-plus/chatglm.cpp.git@main 但在kaggle的p100 上跑不起来。
Hello, I'm using chatglm3-32k-ggml-q4_0.bin, openai_api, when trying to create question and answer that returns >450 tokens it will display error on my frontend javascript (stream mode) : ``` Uncaught SyntaxError:...
1. 使用 gpu 时 如何指定使用哪一个设备？ 文档中没有指定说明。是否支持默认 torch 的配置参数 2. 是否支持 多卡 指定权重分割模型，运行。
- 现象： 使用open_api部署后，测试tools功能，请求体如下 ``` { "functions": { "random_number_generator": { "name": "random_number_generator", "description": "Generates a random number x, s.t. range[0]
https://github.com/li-plus/chatglm.cpp/blob/3286db5306c5d3245ea147082e69313010617a92/Dockerfile#L49-L58 需要修改如下： 1. 添加`/chatglm.cpp/build/lib`，否则对于`For CUDA support`的`main`程序，会缺少`libggml.so` 2. 对`pip install`添加`--pre`，否则`pip install -f dist 'chatglm-cpp[api]'`会忽略`dist`目录下的新构建的Python包，而是下载编译 pypi 里的正式版本 ``` COPY --from=build /chatglm.cpp/build/bin/main /chatglm.cpp/build/bin/main COPY --from=build /chatglm.cpp/build/lib /chatglm.cpp/build/lib COPY --from=build /chatglm.cpp/dist/ /chatglm.cpp/dist/ ADD examples...
``` > docker build . --network=host -t chatglm.cpp [+] Building 99.5s (12/17) => [internal] load build definition from Dockerfile 0.1s => => transferring dockerfile: 1.87kB 0.1s => [internal] load .dockerignore...
## 希望得到的帮助 求大佬提供： 1. 提供解决办法 或 1. 能成功运行 ```LangChain API ``` 的虚拟环境的 ```python版本``` 如：```3.10.0``` 、```3.8.18``` 2. 能成功运行 ```LangChain API ``` 的虚拟环境的中安装的包就是通过类似以下命令获得的txt文档(复制的也可以) ``` conda list -n your_env_name > packages.txt ``` 感恩...
