MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard

[Bug]: 使用llama.cpp部署报错

Open GladiousZhang opened this issue 7 months ago • 0 comments

Is there an existing issue ? / 是否已有相关的 issue ?

  • [x] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。

Describe the bug / 描述这个 bug

在使用a4090d1这个版本的llama.cpp时,出现以下错误: GGML_ASSERT(ggml_nelements(a) == ne0*ne1) failed

To Reproduce / 如何复现

当前环境:Nvidia AGX Xavier 测试了minicpm3-4b-q4_k_m.gguf和minicpm3-4b-fp16.gguf两个版本,均出现以上错误,执行命令如下: ./llama-cli -c 1024 -m ~/data-part/minicpm3-4b-q4_k_m.gguf -n 1024 --top-p 0.7 --temp 0.7 --prompt "<|im_start|>user\n请写一篇关于人工智能的文章,详细介绍人工智能的未来发展和隐患。<|im_end|>\n<|im_start|>assistant\n"

Expected behavior / 期望的结果

希望能在readme中注明使用的llama.cpp版本

Screenshots / 截图

No response

Environment / 环境


Additional context / 其他信息

No response

GladiousZhang avatar May 20 '25 13:05 GladiousZhang