王召德 comments

Results 53 comments of


                                            王召德

模型量化后运行时间比不量化更长，感觉是负优化

https://mnn-docs.readthedocs.io/en/latest/faq.html#id16

编译的引擎如何用Python API调用

可以参考GithubAction的步骤编译：https://github.com/alibaba/MNN/blob/master/.github/workflows/pymnn_windows.yml

Update README about ChatGLM-MNN.

![android_demo](https://github.com/THUDM/ChatGLM-6B/assets/8401806/ba34dd16-c050-4546-a263-b61ab8ee96ad)

多个模型串行共享一个runtime，内存没有复用反倒增加

> > 确实动态内存部分没有复用，还在解决中 > > 期待解决方案分析了你的情况，已经讨论出解决方案了；后续需要时间实现和测试～

[BUG] mem_low模式下fp6无法进行推理

确实存在着问题，正在修复

[BUG] mem_low模式下fp6无法进行推理

LowMemory是指计算时做反量化降低内存使用；是与加载时反量化相比的； fp16不存在反量化的问题，所以不需要降低内存

mnnWorkbench 按照操作登录不上

这个目前主要对内部使用

MSVC adapt for BF16

can you name your branch as `feature/xxxx`? `feature/xxxx` will trigger the github action CI.

pip install MNN on Raspberry pi 4 not work

> @Ratansairohith The installation was tested on RP4b with the latest RP OS. > > Try the following step to build the wheel and install it. > > 1. install...

Android Demo 运行失败

DEMO已更新：https://github.com/alibaba/MNN/pull/2244