sixgod
sixgod
> 您好，ollama run glm4 下载的是那个模型呢？怎么指定下载glm-4-9b-chat这个版本呢 您可以事先下载`glm-4-9b-chat`到本地，或者ollama应该有地方可以设置下载模型的id
你是用哪个模型进行的微调
是否是数据集格式的问题
问题重复，该问题请参阅[issue 591](https://github.com/THUDM/GLM-4/issues/591)，本issue关闭
在最近的PR中已经将GLM-4v适配了vllm=0.6.2，相信很快就会合并。您可以部署最新版的[vllm](https://github.com/vllm-project/vllm)，并且参考[PR 585](https://github.com/THUDM/GLM-4/pull/585)readme中的示例进行推理
> @sixsixcoder 想问下支持使用glm 4v 9b int4进行推理嘛？ 暂不支持
我成功复现你的问题了，问题出现在template模版上，llama-factory到处merge后的模型文件时，替换了`glm-4-9b-chat`的`chat_template` 目前的解决方案是修改llama-factory微调merge后权重的`tokenizer_config.json`文件，替换`chat_template `为： ``` "chat_template": "[gMASK]{% for item in messages %}{% if item['tools'] is defined %}\n你是一个名为 GLM-4 的人工智能助手。你是基于智谱AI训练的语言模型 GLM-4 模型开发的，你的任务是针对用户的问题和要求提供适当的答复和支持。\n\n# 可用工具{% set tools = item['tools'] %}{% for tool in tools...
这里有微调模板，https://zhipu-ai.feishu.cn/wiki/L1jpwBEqCiHocmkT3VzcQv5Znrg
transformers版本在0.46.0以上吗？需要看一下你的pip list
目前已经支持vllm加速推理，暂不支持lora微调后的模型加速，请参见readme