jxt1234
jxt1234
1. 确认下是否跑到 gpu 上了（是否 linux 的 vulkan 驱动是软件模拟的） 2. 看下是否有多张显卡，跑到较弱的显卡上了
修改 source/backend/opencl/CMakeLists.txt ，把 add_definitions(-DMNN_SUPPORT_INTEL_SUBGROUP) 去掉试试
原始模型是什么，怎么进行qat的?
我们看一下
thread_num 需要设成 68 (buffer 模式)，用 image 模式有可能对于大尺寸情况下无法支持。
不影响。68 表示 autotuning + buffer 模式，不是线程数的含义： https://mnn-docs.readthedocs.io/en/latest/inference/session.html
设成 4 的话，估计有较多算子回退到 CPU 了
mnn 是什么时候的代码？看着应该是内存不足了。模型是多大？int4 量化过的么？编译 mnn 时是否打开了 -DMNN_LOW_MEMORY=ON ?
模型上传来看一下?
最新代码有问题么?