MiniCPM
MiniCPM copied to clipboard
[Bug]: 使用llama.cpp部署报错
Is there an existing issue ? / 是否已有相关的 issue ?
- [x] I have searched, and there is no existing issue. / 我已经搜索过了,没有相关的 issue。
Describe the bug / 描述这个 bug
在使用a4090d1这个版本的llama.cpp时,出现以下错误: GGML_ASSERT(ggml_nelements(a) == ne0*ne1) failed
To Reproduce / 如何复现
当前环境:Nvidia AGX Xavier
测试了minicpm3-4b-q4_k_m.gguf和minicpm3-4b-fp16.gguf两个版本,均出现以上错误,执行命令如下:
./llama-cli -c 1024 -m ~/data-part/minicpm3-4b-q4_k_m.gguf -n 1024 --top-p 0.7 --temp 0.7 --prompt "<|im_start|>user\n请写一篇关于人工智能的文章,详细介绍人工智能的未来发展和隐患。<|im_end|>\n<|im_start|>assistant\n"
Expected behavior / 期望的结果
希望能在readme中注明使用的llama.cpp版本
Screenshots / 截图
No response
Environment / 环境
Additional context / 其他信息
No response