self-llm qwen1.5 量化版本的部署方案有么？

qwen1.5 量化版本的部署方案有么？

Open chongqingwei opened this issue 11 months ago • 3 comments

大佬有qwen15的量化版么部署方案。

Mar 06 '24 11:03 chongqingwei

本仓库暂时没有，如果有需要的话可以看看vLLM或者LMDeploy

Mar 07 '24 01:03 KMnO4-zx

大佬有qwen15的量化版么部署方案。

有了，已补充（Qwen1.5-7B-Chat-GPTQ-Int4部署方案 #59 ）

Mar 15 '24 16:03 byx020119

readme已更新Qwen1.5-72B-chat GPTQ int4 部署链接

Mar 16 '24 02:03 KMnO4-zx