jxt1234
jxt1234
cache 文件是否读取成功了?
1. ARMv8 不支持 fp16 计算,可以换用 bf16 试一下:打开 MNN_SUPPORT_BF16 ,precision 设成 low_bf16 2. 关于 int8 慢的问题,mnn 版本是多少?更到最新再量化试试
没有生效是指?生成 compress_params_index.bin 之后,需要加上这个参数再转换一下:--compressionParamsFile compress_params_index.bin
一般参考 package_scripts/ios/buildiOS.sh 用脚本编译,额外加上编译参数 -DMNN_LOW_MEMORY=ON
你ios上怎么开启 opencl 的?是模拟器么?
ios 上一般 gpu 用 MNN_FORWARD_METAL
你 mnn 是怎么编译的?
你测试方式是什么?一般是需要第二次 forward 开始计时,连续运行多次。参考 project/ios/Playground 和 tools/cpp/ModuleBasic.cpp 里面的速度测试
1. 现在建议用完整模型,即合并为同一模型的用法 2. mnn 版本是什么?
默认发的版本支持 opencl / vulkan ,cuda 的话需要自行编译