jxt1234

icon indicating an email [email protected]

Results 338 comments of jxt1234

在骁龙8Elite上运行效率低

使用的是什么后端? 骁龙芯片上新版本 nnapi 都是跑 cpu 了

在骁龙8Elite上运行效率低

默认是 cpu 的，可以修改 config.json 把线程数设成 2 ，或者改用 opencl 试下

在骁龙8Elite上运行效率低

QNN 在支持中

CPUAttention.cpp 和 KVCacheManager.cpp 问题

看上去只有 prefill 的过程，decode 的推理代码是?

CPUAttention.cpp 和 KVCacheManager.cpp 问题

decode 的时候一般 mMeta->add = 1 （也就是 ids_len = 1）

CPUAttention.cpp 和 KVCacheManager.cpp 问题

感觉没有问题，可能是其他部分的代码有误？ 可以把 mnn-llm 输入的 varp 打印出来看一下

MNN TaoAvatar 可以自定义数字人形象么，如果支持的话，需要如何操作

相关代码还在整理中，请等候 mnn-nnr 开源

opencl，批量推理错误

相关模型可以发一下？另外 windows 上是什么 gpu ?

试了几天没跑起来ovis2模型，求救啊！

目前卡在哪里?

Integer Overflow Vulnerability in FileLoader::read() Leading to Memory Corruption

Ok, we will fix it later