chatglm.cpp

chatglm.cpp copied to clipboard

在量化模型的时候出现segmentation fault

1

chatglm3-6b -t q4_0 -o chatglm3-ggml.bin 

invalid-pointer

我想启动web端提醒这个报错，你们遇到过吗，麻烦给指点一下

3

(base) root@ai:~/chatglm.cpp/examples# python3 web_demo.py -m ../chatglm-ggml.bin Traceback (most recent call last): File "/root/chatglm.cpp/examples/web_demo.py", line 24, in pipeline = chatglm_cpp.Pipeline(args.model) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/root/anaconda3/lib/python3.11/site-packages/chatglm_cpp/__init__.py", line 33, in __init__ super().__init__(str(model_path)) RuntimeError: /tmp/pip-install-g7k57662/chatglm-cpp_f0d0b14b283d4034978c4aac7fe3f802/chatglm.cpp:323 check...

dongyongwei

支持minicpm-2b

1

支持minicpm-2b模型

wzg-zhuo

请求编译好的程序

1

能分享一下Windows10 平台编译好的文件吗，我都电脑不知道啥情况，编译过程中总是蓝屏

2531


Whichbfj28

 出错了 Illegal instruction

Whichbfj28

In file included from /Users/a1021500667/Documents/gpt/chatglm.cpp/chatglm.cpp:1: /Users/a1021500667/Documents/gpt/chatglm.cpp/chatglm.h:546:13: error: no matching function for call to 'ggml_scale_inplace' ggml_scale_inplace(gctx, attn_scores, ggml_new_f32(gctx, 1.f / std::sqrt(head_size)))); ^~~~~~~~~~~~~~~~~~ /Users/a1021500667/Documents/gpt/chatglm.cpp/third_party/ggml/include/ggml/ggml.h:1158:35: note: candidate function not viable: no known conversion...

certhon

请问下这个报错是什么原因造成的？

1

73.13 [ 97%] Built target chatglm 73.18 [ 98%] Building CXX object CMakeFiles/main.dir/main.cpp.o 76.29 [100%] Linking CXX executable bin/main 76.50 /usr/bin/ld: lib/libchatglm.a(chatglm.cpp.o): in function `chatglm::tensor_assign_buffers(ggml_tensor*)': 87.70 /chatglm.cpp/chatglm.cpp:113: undefined reference to...

Huojunning

一张显卡放不下单个模型的情况下，支持多卡推理吗？

Dreamerzp

如何设置更长的上下文(context)

5

我分别量化了chatglm3和chatglm3-32k两个模型，请问如何设置他们的context大小. 我看到很多文件都需要修改，请问能否出一个文档来说明一下

StudyingLover