chatglm.cpp

chatglm.cpp copied to clipboard

首先感谢作者做出的工作。 我这里试着自己构建了C++程序，并且尝试写了C#绑定。 但是奇怪的是，C++ CLI Demo的Prompt时间貌似要比Python包里的C++程序所作的同样的工作的时间要长，不知道为什么，故此发问。

TGJek

./build/bin/main -m chatglm3-ggml-q8.bin -i zsh: illegal hardware instruction ./build/bin/main -m chatglm3-ggml-q8.bin -i

5

执行：./build/bin/main -m chatglm3-ggml-q8.bin -i 报错：zsh: illegal hardware instruction ./build/bin/main -m chatglm3-ggml-q8.bin -i 如何解决？

oldturkey

[Mac Python Binding] zsh: illegal hardware instruction python3 web_demo.py -m ../chatglm2-ggml.bin

11

./build/bin/main -m chatglm-ggml.bin -i 可以正常使用 但是使用cd examples && python3 cli_chat.py -m ../chatglm2-ggml.bin -i 的时候报错显示 zsh: illegal hardware instruction python3 web_demo.py -m ../chatglm2-ggml.bin

Robin2333

什么时候支持千问模型 Qwen-7b?

4

AppleJunJiang

chatglm-ggml_q4_0.bin GGML_ASSERT ggml-metal.m:1453: false

7

./build/bin/main -m ../GGUF_Models/chatglm-ggml_q4_0.bin -l 256 -p "你好" GGML_ASSERT: /Users/apple/PycharmProjects/NLPProject/chatglm.cpp/third_party/ggml/src/ggml-metal.m:1453: false

zwqjoy

CodeGeeX2模型转换错误

2

**执行：** ` python3 chatglm_cpp/convert.py -i modules/codegeex2-6b -t q4_0 -o codegeex-ggml.bin ` **报错：** ` Traceback (most recent call last): File "chatglm_cpp/convert.py", line 543, in main() File "chatglm_cpp/convert.py", line 537, in main...

norlandsoft

将基于lora训练后的模型量化后，使用Python Binding的方式将模型封装部署，随着请求数量（数据量万级）的增加，GPU显存为不断增加，有什么好的方式释放显存呢？

Htring

Currently, our system returns an openai compatible restful response to user and accepts restful requests from user. In a tool call conversation, I need to construct a tool call message...

codingl2k1

ChatGLM3 使用 examples/cli_demo.py 时报错 'TypeError: chat() got an unexpected keyword argument 'max_new_tokens''

1

``` examples git:(main) python3 cli_demo.py -m ../chatglm3-ggml.bin -p 你好 --temp 0.8 --top_p 0.8 Traceback (most recent call last): File "/Users/XXX/Documents/git/chatGLM/chatglm.cpp/examples/cli_demo.py", line 155, in main() File "/Users/XXX/Documents/git/chatGLM/chatglm.cpp/examples/cli_demo.py", line 93, in main...

Legalgeek

任何输入均导致“进程已结束，退出代码为 -1073741676 (0xC0000094)”

1

能够开启交互式界面，但是任意输入后会报错“进程已结束，退出代码为 -1073741676 (0xC0000094)” 模型chatglm3-6b windows-x64

lx38324