Qxinyu

Results 31 comments of Qxinyu

6. 将生成的.bin更名为.mnn文件,将所有权重推送到手机,然后将所有编译的安卓.so库 QNNSDK.so库推送到手机 ../build_64.sh -DMNN_NEUROPILOT=ON -DMNN_WITH_PLUGIN=ON -DMNN_BUILD_LLM=ON 这里不需要把.bin更名,直接把qnn目录push到手机的模型目录下

是的。现在可以用transformers/llm/export/npu/generate_llm_qnn.py脚本直接生成

重启会不会是手机内存不足了,你可以试下用transformers/llm/export/npu/generate_llm_qnn.py脚本直接生成。 这些提示都没关系。

> 您好,我在12GB的Elite手机上也出现了运行直接重启的情况,想请问下官方对qwen3-4b进行4bit的MNN量化,生成的38个graph.bin文件总计2.4GB的情况需要的最小内存是多少?谢谢 你可以改下 /source/backend/qnn/backend/QNNBackend.cpp 81行: if ((QNN_GET_ERROR_CODE(qnnInterface.logCreate(logCallback, QNN_LOG_LEVEL_ERROR, &logHandle)) != QNN_SUCCESS) || 改为 if ((QNN_GET_ERROR_CODE(qnnInterface.logCreate(logCallback, QNN_LOG_LEVEL_DEBUG, &logHandle)) != QNN_SUCCESS) || 编译过后再运行,抓取下log看看。

这个第一步Make IO失败了,现在工具转换Qwen3-VL还有点问题,我们后面会更新修复。

可以先把MNN2QNNModel.cpp的258行修改下: config.type = MNN_FORWARD_NN; 改为: config.type = MNN_CONVERT_QNN; 后续我们会修改MNN2QNNModel的转换工具。

这可能是模型中间某些op转换出来的lib有点问题,具体需要根据模型来定位了。

可以看下模型中是不是有opencl不支持的算子, 打开source/backend/opencl/core/OpenCLBackend.cpp中的OPENCL_FALLBACK_LOG,编译运行会打印出opencl不支持的算子。