请问走cpu mnn的初始化耗时是否有办法进一步减少

[486946]

请问走cpu mnn的初始化耗时是否有办法进一步减少？

[jxt1234]

你的模型初始化耗时和推理耗时的对比数据是怎么样的？一般初始化只进行一次，CPU的初始化耗时也不会特别大。

[486946]

各模型初始化耗时：244.702 ms，216.000 ms， 52.000 ms，25.000 ms，对应处理耗时164.022 ms，33.000 ms，23.000 ms，21.000 ms

主要是 预留内存，内存占用是问题，另外功能会涉及多个模型，现在是做的多个模型初始化一次如init0->init1->……process0->process1->……->deint0->deinit1->……，这样内存是多个模型内存加和，处理耗时只算process部分即可； 想要优化内存有个方案是把多个模型做成即时初始化去初始化如 init0->process0->deint0->init1->process1->deinit1->……，这样内存取各模型峰值即可，但处理耗时包含初始化会增加 上百ms

[486946]

另外 多个模型现在是独立的interpret和session，这几个模型是串行，是否有方法让多个模型的内存能复用，且不要增加额外很多耗时？

[jxt1234]

模型本身大小是多少？多个模型的静态内存无法复用（和模型大小相当），动态内存理论上可以复用，目前还有问题，还在解决中。

[github-actions[bot]]

Marking as stale. No activity in 60 days.