DeepSeek-Coder icon indicating copy to clipboard operation
DeepSeek-Coder copied to clipboard

Published 20 hours ago • verified publisher icon deepseek-ai

有无计划发布量化后的版本

Open yonghanzhuce opened this issue 1 year ago • 2 comments

想问一下有无计划发布int4，或int8量化后的模型

yonghanzhuce avatar Nov 10 '23 05:11 yonghanzhuce

已有社区开源了量化后的模型：https://huggingface.co/TheBloke/deepseek-coder-33B-instruct-GPTQ

guoday avatar Nov 22 '23 03:11 guoday

我的p40 显卡只支持fp32和int8 。。 量化版本能支持用int8跑吗?

shuaizai88 avatar Jan 17 '24 10:01 shuaizai88