fastllm
fastllm copied to clipboard
ANDROID速度很慢 1.3t/s
我按照README完成ANDROID编译,拷贝benchmark到termux, 跑chatglm2-int4.flm 速度只有1.3t/s 我也试了直接在termux里面编译,直接cmake, 速度也是一样
我的手机是Snapdragon 8 gen 2, t=4, NDK r24 r25c都试过了
fastllm在8gen系列上比之前的芯片(比如865)慢很多,之前也有群友反应过.. 估计和8gen系列的大小核调度策略有关系 我手头没暂时没8gen的机器,等有了机器会调一调的
我怀疑也有可能是因为新的芯片用的是Cortex-x3系列,不知道有没有人试过8gen1, 那个是Cortext-X2, 865用的是Cortext-A
我的手机是8+gen1的,要怎么试? @JianbangZ