caofx0418

G Montreal

Results 2 comments of


                                            caofx0418

PoC: Add Qualcomm mobile SoC native backend for GGML

高手，在高通8gen3上，llama2-7B推理性能如何？多少token/s ?

PoC: Add Qualcomm mobile SoC native backend for GGML

Llama 7b 有20token 太棒了！使用llama.cpp在8gen3的cpu上4线程推理llama2-7B最多只有5token