MNN icon indicating copy to clipboard operation
MNN copied to clipboard

QNN后端运行Qwen2.5-Omni-3B-MNN,但是报错MNN_QNN: Failed to open QNN libs.

Open li524779488 opened this issue 6 months ago • 3 comments

按照流程,运行完如下步骤, 1、Backend Type设置为MNN_FORWARD_NN,即 5 。 2、 HEXAGON_ARCH="75" # modify this variable according to your environment MNN_ROOT="/YOUR/MNN/PATH" # modify this variable according to your environment ANDROID_PATH="/data/local/tmp" adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/aarch64-android/libQnnHtp.so ${ANDROID_PATH}/libQnnHtp.so adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/aarch64-android/libQnnHtpPrepare.so ${ANDROID_PATH}/libQnnHtpPrepare.so adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/aarch64-android/libQnnHtpV${HEXAGON_ARCH}Stub.so ${ANDROID_PATH}/libQnnHtpV${HEXAGON_ARCH}Stub.so adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/hexagon-v${HEXAGON_ARCH}/unsigned/libQnnHtpV${HEXAGON_ARCH}Skel.so ${ANDROID_PATH}/libQnnHtpV${HEXAGON_ARCH}Skel.so 3、运行app,但是发现报错 MNN_QNN: Failed to open QNN libs. Ensure that the libs related to the QNN HTP backend is available in your environment. dlerror() returns dlopen failed: library "libQnnHtp.so" not found.

li524779488 avatar Jun 04 '25 06:06 li524779488

关于动态链接,有更多的说明么。 我是参考https://mnn-docs.readthedocs.io/en/latest/inference/npu.html,但是似乎没有很明白

li524779488 avatar Jun 04 '25 06:06 li524779488

  1. 目前 qnn 后端不支持运行 llm
  2. qnn 后端目前在 app 中的使用确实可能存在问题,后续会修正

jxt1234 avatar Jun 05 '25 03:06 jxt1234

  1. 目前 qnn 后端不支持运行 llm
  2. qnn 后端目前在 app 中的使用确实可能存在问题,后续会修正

@jxt1234 请问qnn现在支持哪些模型测试呢?mnn模型如何量化才能保证qnn后端支持呢

hayyaw avatar Jun 12 '25 07:06 hayyaw

请问qnn支持llm的功能预计哪个版本可以释放?我自己尝试修改但没能成功

li524779488 avatar Jun 20 '25 07:06 li524779488

经过调整端侧的配置,已成功运行。

li524779488 avatar Jul 01 '25 03:07 li524779488

经过调整端侧的配置,已成功运行。

请问你最终能在MNN里使用QNN运行LLM吗

Leonslam avatar Oct 13 '25 08:10 Leonslam

经过调整端侧的配置,已成功运行。

请问你最终能在MNN里使用QNN运行LLM吗

Hi,后来我经过测试,实际上还并不能使用QNN运行LLM,我之前只是QNN环境创建成功了,实际推理的时候还是有问题的

li524779488 avatar Oct 13 '25 08:10 li524779488