jxt1234
jxt1234
与 tf 的对比方面,基于 testMNNFromTf.py ,修改下代码里面 tf 输入的部分,构造测试用例对比吧。
MNN be compiled in Apple M1 max. You must assume MNN's ARCHITECTUR is the same as your library. Try add cmake .. -DCMAKE_OSX_ARCHITECTURES=armv8 to set as arm
你的模型初始化耗时和推理耗时的对比数据是怎么样的?一般初始化只进行一次,CPU的初始化耗时也不会特别大。
模型本身大小是多少?多个模型的静态内存无法复用(和模型大小相当),动态内存理论上可以复用,目前还有问题,还在解决中。
1. 编译 MNN 时打开 MNN_AVX512 2. 看下线程数是否一样
MNN 并没有针对超多线程(>4)进一步优化。可以测试下单线程和4线程性能。
是使用的 opencl 后端,然后设备上初始化失败么?
2.8.2 已经修正
目前只有 x64 的预编译包,x86 需要自行下载源码编译
MNN LSTM not support dynamic sequence_lens.