zhipuch

Results 23 comments of


                                            zhipuch

ollama 加载 glm-4-9b-chat 胡言乱语

https://github.com/THUDM/GLM-4/issues/323 https://github.com/THUDM/GLM-4/issues/333

关于gpu内存

18.8G吗？有点少

执行微调文件finetune.py显示TypeError: FinetuningConfig.init() got an unexpected keyword argument 'freezeV'

在FinetuningConfig类中添加这个参数，指定是bool类型，后续会同步一下这里

AttributeError: 'NoneType' object has no attribute 'shape'

gradio目前只有t2v版本，I2V是图像生成视频不是文生视频

使用llama-factory进行lora微调后，推理正常，但是tools调用异常

不支持Function Call 功能，因为 vLLM 官方仓库统一没有支持该功能（无论何种模型）

使用llama-factory进行lora微调后，推理正常，但是tools调用异常

GLM4中openai的demo底座是vllm，vllm不支持Function Call https://zhipu-ai.feishu.cn/wiki/VpncwoWn4i2ZsDkWSqYcbtwSnWd

使用llama-factory进行lora微调后，推理正常，但是tools调用异常

v100不支持bf16，微调只能用bf16进行

使用llama-factory进行lora微调后，推理正常，但是tools调用异常

这是英伟达官方给出的，v100在计算的时候可能是用fp32来模拟bf16

使用llama-factory进行lora微调后，推理正常，但是tools调用异常

> 那你的意思是微调的时候选择fp32或者fp16? 微调的时候最好是bf16，fp16可能会出现溢出问题，推理的时候fp16可以成功运行，但也会有很小概率溢出，fp32的话相对这两个精度会慢，资源消耗也会大

openai api部署glm-4-9b-chat如何设置多gpu

https://zhipu-ai.feishu.cn/wiki/VpncwoWn4i2ZsDkWSqYcbtwSnWd

1
2
3
›