QNN后端运行Qwen2.5-Omni-3B-MNN,但是报错MNN_QNN: Failed to open QNN libs.
按照流程,运行完如下步骤, 1、Backend Type设置为MNN_FORWARD_NN,即 5 。 2、 HEXAGON_ARCH="75" # modify this variable according to your environment MNN_ROOT="/YOUR/MNN/PATH" # modify this variable according to your environment ANDROID_PATH="/data/local/tmp" adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/aarch64-android/libQnnHtp.so ${ANDROID_PATH}/libQnnHtp.so adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/aarch64-android/libQnnHtpPrepare.so ${ANDROID_PATH}/libQnnHtpPrepare.so adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/aarch64-android/libQnnHtpV${HEXAGON_ARCH}Stub.so ${ANDROID_PATH}/libQnnHtpV${HEXAGON_ARCH}Stub.so adb push ${MNN_ROOT}/source/backend/qnn/3rdParty/lib/hexagon-v${HEXAGON_ARCH}/unsigned/libQnnHtpV${HEXAGON_ARCH}Skel.so ${ANDROID_PATH}/libQnnHtpV${HEXAGON_ARCH}Skel.so 3、运行app,但是发现报错 MNN_QNN: Failed to open QNN libs. Ensure that the libs related to the QNN HTP backend is available in your environment. dlerror() returns dlopen failed: library "libQnnHtp.so" not found.
关于动态链接,有更多的说明么。 我是参考https://mnn-docs.readthedocs.io/en/latest/inference/npu.html,但是似乎没有很明白
- 目前 qnn 后端不支持运行 llm
- qnn 后端目前在 app 中的使用确实可能存在问题,后续会修正
- 目前 qnn 后端不支持运行 llm
- qnn 后端目前在 app 中的使用确实可能存在问题,后续会修正
@jxt1234 请问qnn现在支持哪些模型测试呢?mnn模型如何量化才能保证qnn后端支持呢
请问qnn支持llm的功能预计哪个版本可以释放?我自己尝试修改但没能成功
经过调整端侧的配置,已成功运行。
经过调整端侧的配置,已成功运行。
请问你最终能在MNN里使用QNN运行LLM吗
经过调整端侧的配置,已成功运行。
请问你最终能在MNN里使用QNN运行LLM吗
Hi,后来我经过测试,实际上还并不能使用QNN运行LLM,我之前只是QNN环境创建成功了,实际推理的时候还是有问题的