可以运行llama.cpp量化后的模型吗？

[user-ZJ]

在llamacpp上使用GPU运行，GPU利用率比chatglmcpp低，想用chatglmcpp运行llama模型

[leonsama]

llama.cpp and chatglm.cpp share a same interface package called ggml. Maybe you should check the quantization parameter and CUDA configuration.