Lucyliu1234

请问现在状况如何呢 我也遇到了类似的问题

你说的是转换模型的命令吗？我是使用的命令行 然后使用的这两个命令 python /home/liuxu/projects/mllm-main/tools/convertor/vocab.py --input_file=/mnt/sda/lx/Qwen1.5-MoE/tokenizer.json --output_file=/mnt/sda/lx/Qwen1.5-MoE-mllm/vocab-BPE.mllm --type=BPE python converter.py --input_model=/mnt/sda/lx/Qwen1.5-MoE/model.safetensors.index.json --output_model=/mnt/sda/lx/Qwen1.5-MoE-mllm/model.mllm --type=safetensor ---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年10月12日(周日) 晚上8:36 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [UbiquitousLearning/mllm] 自己转换的qwen2.5输出结果是乱码 (Issue #456) chenghuaWang left...

> [@Lucyliu1234](https://github.com/Lucyliu1234) 您是在命令行里面使用的吗？ 不过应该是我自己写的modeling文件的问题 想来看看类似问题别人是怎么解决的

好的谢谢

> https://github.com/UbiquitousLearning/mllm/blob/main/examples%2Fdemo_minicpm_moe_mbm.cpp 你好，我在运行demo_minicpm_moe_mbm时，[A]输出是空字符，运行demo_minicpm_moe_mbp和demo_minicpm_moe时输出正常，请问你知道这是什么原因吗？

> > https://github.com/UbiquitousLearning/mllm/blob/main/examples%2Fdemo_minicpm_moe_mbm.cpp > > 你好，我在运行demo_minicpm_moe_mbm时，[A]输出是空字符，运行demo_minicpm_moe_mbp和demo_minicpm_moe时输出正常，请问你知道这是什么原因吗？ > > src\models\minicpm_moe\mbm\modeling_minicpm_moe_mbm.hpp 第263行删去if语句中的判断条件 Module::llm_model_ptr->doLoad 可正常进行推理

运行环境为linux 使用的版本为V1 我检查了一下 modeling 文件，发现有一些问题，现在正在参考官方的 modeling 文件进行修改。官方文件是 Python (.py) 形式，所以不能直接使用。请问在将其改写成 .hpp形式 时，有哪些实用的技巧吗？我刚开始学习这方面的知识，所以感觉有点困难，总是容易出错，非常感谢！ > 1. 请问您的运行环境是什么？是 X86 / Arm, Linux / Android / Mac > 2. 请问您使用的 MLLM 版本是 V1 还是...

> 1. 建议对照着 Py 的 modeling 文件编写，可以和 torch 逐层对精度。 > 2. 如果您不是很依赖于 v1 的功能，如 MoE 的优化。建议用 v2 来写，体验会好不少。 由于我想要使用edgemoe的功能，使用edgemoe推理Qwen1.5 MoE 所以我仍采用了v1版本进行了代码的编写，编写过程中参照推理的相关文件。由于想要快速完成一个可正常运行的版本，所以暂时省去了MBM的相关代码，按需加载专家。但是经详细对照后，MiniCPM MoE推理结果仍是无意义的字符。 具体改动如下： mllm-main/examples/demo_qwen_moe_mbm.cpp 与MiniCPM MoE版本类似 改了对应文件的路径和这个语句 `QWenMoEConfig config(tokens_limit, "2.7B");`...

> cc [@yirongjie](https://github.com/yirongjie) 你们过去有遇到过这种问题吗?如果遇到过原因是哪些呢？我可以再排查一下