gpt_academic icon indicating copy to clipboard operation
gpt_academic copied to clipboard

Published 20 hours ago • verified publisher icon binary-husky

关于ChatGLM部署

Open IceCream613 opened this issue 2 years ago • 2 comments

您好，在部署 ChatGLM 的时候遇到显存不足的错误。经过查看后发现程序默认采用的是fp16版本的模型。请问能否考虑修改这部分代码，让其可以根据显存容量自动选择不同的版本呢？

IceCream613 avatar Apr 26 '23 12:04 IceCream613

您好，我们欢迎类似的改进PR

binary-husky avatar Apr 26 '23 14:04 binary-husky

非常重要

codeofyu avatar Apr 27 '23 15:04 codeofyu

可以考虑将request_llm/bridge_chatglm.py中"THUDM/chatglm2-6b"修改为"THUDM/chatglm2-6b-int4"，不够完善但能满足需求

wangzhen0518 avatar Jul 12 '23 14:07 wangzhen0518