Results 338 comments of jxt1234

https://mnn-docs.readthedocs.io/en/latest/tools/test.html 这里链接没改过来,直接编译即可

2.9.5 已经修正

1. ./GetMNNInfo 看一下,大概率是因为 mnn.numpy 的默认格式为 NCHW ,和 tflite 转成 mnn 的格式 NHWC 不匹配。目前这个问题还在方案讨论中,可以换用 onnx -> mnn ,或者用原始的表达式接口:MNN.placeholder 去构造输入。 2. 检查原始模型是否支持修改 batch 大小,一般建议导出 onnx 或者 pb 再转 mnn 。不确定 tflite 模型是否支持...

net.forward(input_data) 改为 net.forward([input_data]) 输入数组,输出就是数组

更新 master ,用 transformer/llm 下面的 export 重新转一下

目前只支持使用 opencl / cuda 时通过deviceId 指定,vulkan 还未支持

这个不是用 mnn-llm 的。和 torch 类似的方式推理就好了。把 bert_base_chinese.onnx 转成 mnn 使用

这个是默认输入不支持,可以自行修改校验脚本。也可以跳过这一步直接转mnn 使用,这个模型一般没有问题

1. 执行 interpreter.runSession 了么? 2. 建议换用 Module API ,后续 python - session api 不建议使用

MNN_OPENGL is depercerated. It's recommended to use vulkan or opencl instead of opengl.