GLM-4 icon indicating copy to clipboard operation
GLM-4 copied to clipboard

ollama 推理报 Error: unsupported architecture "Glm4ForCausalLM" 错误

Open hujhcv opened this issue 6 months ago • 1 comments

System Info / 系統信息

ubuntu 22.04 python 3.12 cuda 12.8 显卡 RTX3090

Who can help? / 谁可以帮助到您?

No response

Information / 问题信息

  • [ ] The official example scripts / 官方的示例脚本
  • [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

步骤如下 1、使用LLaMA-Factory中的convert_hf_to_gguf.py脚本将模型转为GLM-4-9B-0414-F16.gguf 2、使用以下命令安装ollama curl https://ollama.ai/install.sh | sh 3、使用以下命令创建ollama模型 ollama create GLM-4-9B-0414 -f /nada/LLaMA-Factory/output/GLM-4-9B-0414/Modelfile 创建过程中报错:Error: unsupported architecture "Glm4ForCausalLM"

Expected behavior / 期待表现

不报错,正常推理。

hujhcv avatar Apr 29 '25 02:04 hujhcv

ollama应该没有适配,我们和他们官方团队正在联系~

zRzRzRzRzRzRzR avatar Apr 29 '25 04:04 zRzRzRzRzRzRzR