jxt1234
jxt1234
1. precision 设成 normal 试下 2. MNN 是最新代码么？相关模型发我们看看
1. 更新 mnn 代码到最新 2. 用 MNNV2Basic.out 在 Android 上面测试看看 https://mnn-docs.readthedocs.io/en/latest/tools/test.html
更新最新代码测试吧
What's your code for MNN_Inference_run ?
目前 CUDA 不支持加上 --transformerFuse 转换的 LLM 模型，如需使用 cuda 运行 LLM，在转换模型时不要加这项
safetensors 没有模型结构，无法转化。导出 onnx 或者 torchscript 再转 mnn
内部代码修正，近期同步