YulongXia

我的系统是Linux debian 5.10.0-20-amd64 #1 SMP Debian 5.10.158-2 (2022-12-13) x86_64 在使用llama.cpp量化了模型，得到zh-models/7B/ggml-model-q4_0.bin， 此时使用main进行预测，非常慢！！！！！ ./main -m zh-models/7B/ggml-model-f16.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 -b 2048 --repeat_penalty 1.3  ...