OpenBMB
[Feature Request]: 哭着求MiniCPM 4和Ollama的集成？
转成gguf加载到ollama 根本转换不了呢
python convert_hf_to_gguf.py models/MiniCPM3-4B --outfile models/MiniCPM3-4B-f16.gguf
INFO:hf-to-gguf:Loading model: MiniCPM3-4B
ERROR:hf-to-gguf:Model MiniCPM3ForCausalLM is not supported
mincpm 提供了 ollama 的编译版本。直接编译 ollama 可以运行 minicpm，当前官方暂未合并相关 PR，智能自己编译。
我也看到了README有这个说明。不过还是想请官方能够第一时间更新到ollama官网里，让我们这些门外汉不再为和ollama的版本兼容性问题而发愁，傻瓜式一条命令就能搞定。这也能提升你们的同行竞争力和影响力啊。
转成gguf加载到ollama 根本转换不了呢
python convert_hf_to_gguf.py models/MiniCPM3-4B --outfile models/MiniCPM3-4B-f16.gguf INFO:hf-to-gguf:Loading model: MiniCPM3-4B ERROR:hf-to-gguf:Model MiniCPM3ForCausalLM is not supported
这个拉最新的minicpm3分支上的就好, 不过我遇到了mmap的问题, 还是等作者看看吧. 在hugging face上找到了不少gguf的模型, 说是按照作者的方式来的, 不过下载下来都用不了XD
需要自己编译ollama
这个repo的ollama好像还不太对，llm/llama.cpp/ 还是连接到ggerganov的官方版，llm/llama.cpp/src/llama.cpp 这个文件里没有LLM_ARCH_MINICPM3。
也是类似的问题，无法运行MiniCPM3
需要自己编译ollama
这个repo的ollama好像还不太对，
llm/llama.cpp/还是连接到ggerganov的官方版，llm/llama.cpp/src/llama.cpp这个文件里没有LLM_ARCH_MINICPM3。
是的，我们提供了自己的ollama，也提供了自己版本的llamacpp
按照https://modelbest.feishu.cn/wiki/LrdMwKKt3iZgoYkQlPRcvY1PnXc文档分支编译的ollama的还是无法运行minicpm3-4b模型
这种小模型特别适合资源紧张的情况下使用，但是现在模型一天一样，其实最好是跟其他开源的组件进行集成，而不是自己fork，自己再搞一套，这样子对自己模型的生态不好，毕竟，不是所有人都会去编译，去更换自己环境中的组件。哈哈哈 因为我搞了好久也没搞好，很是苦恼。
pip list |grep llama
llama-cpp-python 0.2.90 报的是 不支持的模型架构 llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'minicpm3
llama.cpp官方版本已经支持了MiniCPM3-4B。GGUF版本的模型见这里。
pip list |grep llama
llama-cpp-python 0.2.90 报的是 不支持的模型架构 llama_model_load: error loading model: error loading model architecture: unknown model architecture: 'minicpm3
llama.cpp官方版本已经支持了MiniCPM3-4B。GGUF版本的模型见这里。
我也是报报这个错误，不知道咋搞，没研究出来
请问你们使用的是 https://github.com/ggerganov/llama.cpp 版本的llama.cpp么，这里看似乎使用的是python版本的llamacpp,经过测试python版本的llamacpp暂不支持。