sunnyzhaohui

MNN release 版本上编译LLM引擎libllm 和 llm_demo 出错

5

# 平台(如果交叉编译请再附上交叉编译目标平台): # Platform(Include target platform as well if cross-compiling): Linux # Github版本: # Github Version: https://github.com/alibaba/MNN/releases, MNN-LLM 正式合入[2.9.0](https://github.com/alibaba/MNN/releases/tag/2.9.0) # 编译方式: 1. 完成了qwen/Qwen-1_8B-Chat 下载 2. 在MNN仓库下，编译MNNConvert cd MNN mkdir build...

使用 llm_demo 运行Qwen-1_8B-Chat模型的llm.mn， 没有交互

1

# 平台(如果交叉编译请再附上交叉编译目标平台): Linux 1:完成了qwen/Qwen-1_8B-Chat 下载 2:在MNN仓库下，编译MNNConvert 结果：编译正常 3:使用 MNN 目录下面的 transformers/llm/export/llm_export.py 进行模型导出，把 torch 模型转换成 onnx 4: 使用如下命令把onnx 导出mnn ../build/MNNConvert -f ONNX --modelFile onnx/llm.onnx llm.mnn --weightQuantBits=4 --transformerFuse=1 --saveExternalData --MNNModel Qwen-1_8B-Chat.mnn 结果4个文件...

chinese-bert-wwm-ext模型怎么转换成onnx

1

# 平台(如果交叉编译请再附上交叉编译目标平台): Linux # Github版本: https://github.com/alibaba/MNN/releases [2.9.0](https://github.com/alibaba/MNN/releases/tag/2.9.0) # 编译方式: 下载：chinese-bert-wwm-ext 模型下载链接： https://huggingface.co/hfl/chinese-bert-wwm-ext/tree/main 方式一：使用 MNN 目录下面的 transformers/llm/export/llm_export.py 无法转换。 方式二：使用命令转换 import torch from transformers import BertModel model_name = "./hfl/chinese-bert-wwm-ext" model = BertModel.from_pretrained(model_name)...

testMNNFromOnnx.py 验证Qwen-1_8B-Chat ONNX 出错

1

# 平台(如果交叉编译请再附上交叉编译目标平台): Linux # Github版本: 参考文档 https://mnn-docs.readthedocs.io/en/latest/tools/convert.html#id4 验证 testMNNFromOnnx.py # 编译方式: 1）魔搭下载Qwen-1_8B-Chat 模型文件 2）使用如下脚本生成 onnx 和 mnn python3 llm_export.py --embed_bin \ --embed_bf16 \ --onnx_path onnx \ --type Qwen-1_8B-Chat \ --path...