MNN icon indicating copy to clipboard operation
MNN copied to clipboard

MNN_THREAD_POOL_MAX_TASKS 具体是什么意思?>=3个模型分别创建interpreter和session且并行 是否有问题?

Open xin486946 opened this issue 8 months ago • 4 comments

xin486946 avatar Dec 04 '23 06:12 xin486946

MNN_THREAD_POOL_MAX_TASKS 表示线程池最多可供几个运行时持有。默认情况下每个Session单独持有一个运行时,也即最多只有 2 个模型可以并行。 可以通过 https://mnn-docs.readthedocs.io/en/latest/inference/session.html#id7 共享运行时,解除这个限制。

jxt1234 avatar Dec 04 '23 08:12 jxt1234

MNN_THREAD_POOL_MAX_TASKS 表示线程池最多可供几个运行时持有。默认情况下每个Session单独持有一个运行时,也即最多只有 2 个模型可以并行。 可以通过 https://mnn-docs.readthedocs.io/en/latest/inference/session.html#id7 共享运行时,解除这个限制。

=3个模型是并行的,不需要共享运行时资源,要相互独立。>=3个模型分别创建interpreter和session且并行,这样是否受MNN_THREAD_POOL_MAX_TASKS限制?

xin486946 avatar Dec 05 '23 01:12 xin486946

受限制,可以把 MNN_THREAD_POOL_MAX_TASKS 设大

jxt1234 avatar Jan 06 '24 12:01 jxt1234

受限制,可以把 MNN_THREAD_POOL_MAX_TASKS 设大 我实验,不把MNN_THREAD_POOL_MAX_TASKS 设大,>=3个模型分别创建interpreter和session且并行 没有问题

486946 avatar Jan 26 '24 05:01 486946

Marking as stale. No activity in 60 days.

github-actions[bot] avatar Mar 26 '24 09:03 github-actions[bot]