MNN
MNN copied to clipboard
MNN_THREAD_POOL_MAX_TASKS 具体是什么意思?>=3个模型分别创建interpreter和session且并行 是否有问题?
MNN_THREAD_POOL_MAX_TASKS 表示线程池最多可供几个运行时持有。默认情况下每个Session单独持有一个运行时,也即最多只有 2 个模型可以并行。 可以通过 https://mnn-docs.readthedocs.io/en/latest/inference/session.html#id7 共享运行时,解除这个限制。
MNN_THREAD_POOL_MAX_TASKS 表示线程池最多可供几个运行时持有。默认情况下每个Session单独持有一个运行时,也即最多只有 2 个模型可以并行。 可以通过 https://mnn-docs.readthedocs.io/en/latest/inference/session.html#id7 共享运行时,解除这个限制。
=3个模型是并行的,不需要共享运行时资源,要相互独立。>=3个模型分别创建interpreter和session且并行,这样是否受MNN_THREAD_POOL_MAX_TASKS限制?
受限制,可以把 MNN_THREAD_POOL_MAX_TASKS 设大
受限制,可以把 MNN_THREAD_POOL_MAX_TASKS 设大 我实验,不把MNN_THREAD_POOL_MAX_TASKS 设大,>=3个模型分别创建interpreter和session且并行 没有问题
Marking as stale. No activity in 60 days.