fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

ANDROID速度很慢 1.3t/s

Open JianbangZ opened this issue 1 year ago • 3 comments

我按照README完成ANDROID编译,拷贝benchmark到termux, 跑chatglm2-int4.flm 速度只有1.3t/s 我也试了直接在termux里面编译,直接cmake, 速度也是一样

我的手机是Snapdragon 8 gen 2, t=4, NDK r24 r25c都试过了

JianbangZ avatar Jul 06 '23 16:07 JianbangZ

fastllm在8gen系列上比之前的芯片(比如865)慢很多,之前也有群友反应过.. 估计和8gen系列的大小核调度策略有关系 我手头没暂时没8gen的机器,等有了机器会调一调的

ztxz16 avatar Jul 06 '23 16:07 ztxz16

我怀疑也有可能是因为新的芯片用的是Cortex-x3系列,不知道有没有人试过8gen1, 那个是Cortext-X2, 865用的是Cortext-A

JianbangZ avatar Jul 06 '23 18:07 JianbangZ

我的手机是8+gen1的,要怎么试? @JianbangZ

adaaaaaa avatar Jul 13 '23 20:07 adaaaaaa