chatglm.cpp icon indicating copy to clipboard operation
chatglm.cpp copied to clipboard

Published 20 hours ago • verified publisher icon li-plus

运行chatglm3-6b-ggml int4量化模型，采用clblast加速反而比cpu加速慢很多，正常吗？

Open GTJoey opened this issue 1 year ago • 1 comments

机器配置i7-12700F，3060显卡12GB显存，64GB 内存。

GTJoey avatar Feb 02 '24 08:02 GTJoey

机器配置i7-12700F，3060显卡12GB显存，64GB 内存。

可以先观察下推理的时候到底用的CPU还是GPU

loli0123456789 avatar Mar 24 '24 12:03 loli0123456789