Qwen2-7b使用cuda运行输出结果不正常

[tzhang2014]

平台(如果交叉编译请再附上交叉编译目标平台):

Platform(Include target platform as well if cross-compiling):

Centos7.6

Github版本:

Github Version:

2.9.2 直接下载ZIP包请提供下载日期以及压缩包注释里的git版本(可通过7z l zip包路径命令并在输出信息中搜索Comment 获得，形如Comment = bc80b11110cd440aacdabbf59658d630527a7f2b)。 git clone请提供 git commit 第一行的commit id

Provide date (or better yet, git revision from the comment section of the zip. Obtainable using 7z l PATH/TO/ZIP and search for Comment in the output) if downloading source as zip,otherwise provide the first commit id from the output of git commit

编译方式:

Compiling Method

请在这里粘贴cmake参数或使用的cmake脚本路径以及完整输出
Paste cmake arguments or path of the build script used here as well as the full log of the cmake proess here or pastebin

if [ -d "./build" ];
then
    rm -rf ./build
fi

mkdir -p build
cd build
cmake .. \
-DMNN_BUILD_TEST=ON \
-DMNN_CUDA=ON \
-DMNN_OPENCL=OFF \
-DMNN_BUILD_QUANTOOLS=ON \
-DMNN_BUILD_DEMO=ON \
-DMNN_BUILD_CONVERTER=ON \
-DMNN_BUILD_BENCHMARK=ON \
-DMNN_BUILD_LLM=ON \
-DMNN_LOW_MEMORY=ON \
-DMNN_SEP_BUILD=ON \
-DMNN_SUPPORT_TRANSFORMER_FUSE=ON
make -j${nproc}

编译日志:

Build Log:

粘贴在这里
Paste log here or pastebin

使用 ./build/llm_demo ./mnn-models/Qwen2-7B-Instruct/config.json prompt.txt运行Qwen2-7b-Instruct输出结果异常

config path is ./mnn-models/Qwen2-7B-Instruct/config.json The device support i8sdot:0, support fp16:0, support i8mm: 0 Cache invalid, will be reset

is_single_ = 1

load tokenizer tokenizer_type = 3 load tokenizer Done load ./mnn-models/Qwen2-7B-Instruct/Qwen2-7B-Instruct.mnn ... CUDABackend Don't support type Attention, Attention/layers.0/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.1/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.2/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.3/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.4/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.5/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.6/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.7/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.8/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.9/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.10/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.11/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.12/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.13/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.14/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.15/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.16/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.17/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.18/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.19/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.20/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.21/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.22/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.23/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.24/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.25/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.26/self_attn/Reshape_7_output_0 CUDABackend Don't support type Attention, Attention/layers.27/self_attn/Reshape_7_output_0 Done! main, 182, cost time: 72284.531250 ms Prepare for resize opt Begin Update cache to .tempcache, size = 12 Prepare for resize opt End 2 backend don't support resize fix optimize main, 186, cost time: 170307.031250 ms prompt file is prompt.txt prompt is 你叫什么 “G... Gründe, Führung, Gespr... tatsächl... The... cará... Unterstützung erfolgre... Geschäf... Gründe, Gründe, Gründe. Gründe, Gründe, Gründe." Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe Gründe

[jxt1234]

目前 CUDA 不支持加上 --transformerFuse 转换的 LLM 模型，如需使用 cuda 运行 LLM，在转换模型时不要加这项

[tzhang2014]

目前 CUDA 不支持加上 --transformerFuse 转换的 LLM 模型，如需使用 cuda 运行 LLM，在转换模型时不要加这项

好的，感谢