王召德

你的意思是部署在服务端，然后通过请求调用吗

not missing file, just process info has some inaccurate

看一下模型文件是否完成吧

是不是编译器不支持c++17

I modified the original demo to add the display of `prefill` and `decode` speeds. The code as follows: https://github.com/wangzhaode/mediapipe-llm-demo/blob/main/android/app/src/main/java/com/google/mediapipe/examples/llminference/InferenceModel.kt

``` def first_option_postprocess(text: str, options: str, cushion=True) -> str: text = text.replace("Answer: Let's think step by step.", '') .... ``` 我按照这个修改后，结果提取看起来是正常了的，但是这么修改可能不太合理，所以没有提交PR；辛苦看一下是否有更合适的修改方式。

我的有一些改动，就是使用`Qwen2.5-VL-Instruct`测评`mmlu_pro`，结果中就会出现此问题；我尝试使用`Qwen2.5-0.5B-Instruct`也有此问题。如果尝试复现可以使用此命令： ``` python run.py eval.py ``` `eval.py`内容如下： ```python from mmengine.config import read_base with read_base(): from opencompass.configs.datasets.mmlu_pro.mmlu_pro_gen_cdbebf import mmlu_pro_datasets datasets = [*mmlu_pro_datasets] from opencompass.models import HuggingFacewithChatTemplate model_path = '/path/to/Qwen2.5-0.5B-Instruct' models =...

可以尝试直接修改输入的尺寸

你写的也可以，建议直接用MNN的CV，这样在减少依赖

在M3芯片上测试了下面的2个模型，结果不正确 https://modelscope.cn/models/zhaode/Qwen2-7B-Instruct-MNN https://modelscope.cn/models/zhaode/Qwen2-1.5B-Instruct-MNN