MNN icon indicating copy to clipboard operation
MNN copied to clipboard

QNN后端已经支持哪些模型了?是如何量化的

Open hayyaw opened this issue 6 months ago • 2 comments

QNN后端后续规划是什么?现在还不支持LLM吗?在哪些模型上进行了验证?想测试下

hayyaw avatar Jun 10 '25 06:06 hayyaw

目前支持部分 CV 模型(mobilenet 等),正在支持 llm 。

jxt1234 avatar Jun 13 '25 05:06 jxt1234

请问有相关量化后运行的例子吗?我采用pytorch qat量化,转至MNN时,运算为nan或inf

zsf23 avatar Jun 24 '25 12:06 zsf23

Marking as stale. No activity in 60 days.

github-actions[bot] avatar Aug 24 '25 09:08 github-actions[bot]