jxt1234 comments

Results 338 comments of


                                            jxt1234

Qwen2-vl-2b和Qwen2.5-vl-3b模型opencl推理llm部分，首次推理正确，再次推理结果都是感叹号！！！！！

这个是 NVIDIA 上 opencl softmax 算子的兼容性，已经修正了，可以更新代码再测试下

Quantization replaced tensor shape

Please upload the int8 onnx model. You can try to use mnnconvert to quantization instead. https://mnn-docs.readthedocs.io/en/latest/tools/compress.html#id8

yolov11-segment推理报错

上传原始模型，我们排查一下？用 testMNNFromOnnx.py 测试过么？

请问ARM64 Linux上是否支持运行MNN-LLM，目前运行直接发生crash以及ARM Linux开发版是否支持OpenCL运行MNN-LLM

像是 MNN 版本问题，更新最新代码再试下，仍有问题重新提 issue

sd1.5以训练模式导出模型问题

1. 建议是转换时加上 --saveExternalWeight 分离权重 2. NN::Utils::ExtractConvolution 现在估计不支持 external weight ，需要修改一下代码

windows llm_demo.exe Segmentation fault

MNN 是什么时候的版本? 在 llm_demo 里面打印一下 MNN 的version 看下，有可能系统库里有 mnn 冲突了。

1. Build mnn with bf16: -DMNN_SUPPORT_BF16=ON 2. See speed/MatMulBConstTest in test/speed/MatMulSpeed.cpp, modify the parameters 3. ./run_test.out speed/MatMulBConstTest 0 3 to test bfmmla 4. See speed/ConvInt8/im2col_gemm and change the size 5....

MNN在GPU推理时报错：Build program failed, err:-11 !

1. 使用 llm_demo 的话，每次对话都会加入历史重新输入，是会越来越慢的。 2. 应该是 precision 和 thread number 在 opencl 后端被混用了，近期会解决二、像是 kernel 编译失败了，我们检查一下

[BUG] IOS APP 中 Qwen2.5-VL 多模态无法正确工作

编译 mnn 时是否打开了 -DLLM_SUPPORT_VISION=true -DMNN_BUILD_OPENCV=true -DMNN_IMGCODECS=true https://mnn-docs.readthedocs.io/en/latest/transformers/llm.html

jxt1234