GLM-4
GLM-4 copied to clipboard
ollama 推理报 Error: unsupported architecture "Glm4ForCausalLM" 错误
System Info / 系統信息
ubuntu 22.04 python 3.12 cuda 12.8 显卡 RTX3090
Who can help? / 谁可以帮助到您?
No response
Information / 问题信息
- [ ] The official example scripts / 官方的示例脚本
- [ ] My own modified scripts / 我自己修改的脚本和任务
Reproduction / 复现过程
步骤如下 1、使用LLaMA-Factory中的convert_hf_to_gguf.py脚本将模型转为GLM-4-9B-0414-F16.gguf 2、使用以下命令安装ollama curl https://ollama.ai/install.sh | sh 3、使用以下命令创建ollama模型 ollama create GLM-4-9B-0414 -f /nada/LLaMA-Factory/output/GLM-4-9B-0414/Modelfile 创建过程中报错:Error: unsupported architecture "Glm4ForCausalLM"
Expected behavior / 期待表现
不报错,正常推理。
ollama应该没有适配,我们和他们官方团队正在联系~