chatglm.cpp icon indicating copy to clipboard operation
chatglm.cpp copied to clipboard

上下文推理时速度会变慢,请问应该怎么解决?

Open youranjvshi123 opened this issue 1 year ago • 2 comments

模型转换的是q4_0的,在执行examples/cli_demo.py -m chatglm-ggml.bin -i 时,从第二轮对话开始推理速度就会变的越来越慢,请问应该怎么解决?

youranjvshi123 avatar Apr 24 '24 01:04 youranjvshi123

so eazy ! 优化下代码就行了

Wannazl avatar May 06 '24 08:05 Wannazl

so eazy ! 优化下代码就行了

大神,请问代码应该怎么优化?

youranjvshi123 avatar May 07 '24 01:05 youranjvshi123