jxt1234

E/Adreno-CB: : Fatal: Failed to open libCB from libOpenCL 这个是系统的 opencl 库无效，具体是什么机器?

问题已经定位了，近期修正。 也可按如下 patch 自行修正 diff --git a/source/backend/vulkan/buffer/execution/VulkanBinary.cpp b/source/backend/vulkan/buffer/execution/VulkanBinary.cpp index b6fe2f798..8857f3d2f 100644 --- a/source/backend/vulkan/buffer/execution/VulkanBinary.cpp +++ b/source/backend/vulkan/buffer/execution/VulkanBinary.cpp @@ -136,8 +136,11 @@ ErrorCode VulkanBinary::onEncode(const std::vector& inputs, const std:: MNN_ASSERT(1 == outputs.size()); auto vkBn...

问题已经定位了，近期修正。 也可按如下 patch 自行修正 diff --git a/source/backend/vulkan/buffer/execution/VulkanBinary.cpp b/source/backend/vulkan/buffer/execution/VulkanBinary.cpp index b6fe2f798..8857f3d2f 100644 --- a/source/backend/vulkan/buffer/execution/VulkanBinary.cpp +++ b/source/backend/vulkan/buffer/execution/VulkanBinary.cpp @@ -136,8 +136,11 @@ ErrorCode VulkanBinary::onEncode(const std::vector& inputs, const std:: MNN_ASSERT(1 == outputs.size()); auto vkBn...

问题已经定位了，近期修正。 也可按如下 patch 自行修正 [vulkan_temp.patch](https://github.com/alibaba/MNN/files/14178434/vulkan_temp.patch)

可以 dump 模型结构看下 layernorm 是否被 fuse 了。 self.weight * x 可以改成 x * self.weight

> 还有一个，我发现Depth-wise conv似乎会被拆分成多个卷积，导致卷积数量和Raster数量大幅增加 当 group > 1 且与 input channel / output channel 不相等，会出现这种情况

MNN_THREAD_POOL_MAX_TASKS 表示线程池最多可供几个运行时持有。默认情况下每个Session单独持有一个运行时，也即最多只有 2 个模型可以并行。 可以通过 https://mnn-docs.readthedocs.io/en/latest/inference/session.html#id7 共享运行时，解除这个限制。

受限制，可以把 MNN_THREAD_POOL_MAX_TASKS 设大

> > 大概率是 session api 的调用代码问题。fp16 的输入输出必须用 copyFromHost / copyToHost ，不能直接访问 tensor 的 host 指针。建议都用 Module API. > > Module API比session api慢30%。session api将来不支持fp16吗？ 1. Module API比session api慢30%，这个不可能。性能基本是一样的，可能是你设置的线程数不一样。 2. Session API...

你有修改 CPURuntime.cpp 么?