jxt1234 comments

Results 338 comments of


                                            jxt1234

Performance degradation from `2.8.1` to `2.9.2`

2.9.5 已经修正，可以更新并测试下，内部验证结果是快于 2.8.1 版本

Fix and complete android build doc.

Thanks. Please sign the CLA and then we can merge it.

QNN后端运行Qwen2.5-Omni-3B-MNN，但是报错MNN_QNN: Failed to open QNN libs.

1. 目前 qnn 后端不支持运行 llm 2. qnn 后端目前在 app 中的使用确实可能存在问题，后续会修正

1. Express / Module API 不是线程安全的，不同线程中调用需要绑定同一个 executor https://mnn-docs.readthedocs.io/en/latest/inference/module.html#id1 。 2. MNN::CV 使用的是 Express ，因此并非线程安全，同样需要先创建一个 Executor ，在调用 MNN::CV 相关函数时绑定该 Executor 。这个 mnn 后面会优化相关 api。

QNN后端已经支持哪些模型了？是如何量化的

目前支持部分 CV 模型（mobilenet 等），正在支持 llm 。

yolov5-7 mnn推理置信度很低

1. 先用 testMNNFromOnnx.py 测试原始模型和 mnn 推理结果是否一致 2. 推理代码中存在问题：对于多输入的 Session ，需要 resize 所有输入后再 resizeSession ，resizeSession 之后再填充数据。推理代码中每次都 resizeSession 会导致前面的输入填充无效。建议换用 module api ，不容易出问题： https://mnn-docs.readthedocs.io/en/latest/inference/module.html

模型导出时，Multimodal Rotary Position Embedding (M-ROPE)疑问?

已经进行处理了的，可以在 llmexport.py 和 vision.py 里面找一下

什么时候可以调用Vulkan

应该是指 mnn llm 吧。其他模型是支持使用 vulkan 的。这个还在计划中

create session failed when forwardType is Vulkan with version 3.1.0 release spend 10-15 seconds after create failed with that type

numberThread 设成 1 试下（关闭 autotuning）

jxt1234