Baichuan-13B icon indicating copy to clipboard operation
Baichuan-13B copied to clipboard

Published 20 hours ago • verified publisher icon baichuan-inc

请提供int8的模型下载

Open terryops opened this issue 2 years ago • 2 comments

不然每次运行都需要很长的时间使用CPU进行量化。 请大家注意，这个模型即使用量化int8去跑，也是需要64G内存的。但是量化完之后，就只占用25G左右。 测试效果是比ChatGLM强很多，但是远远比不上GPT4，很多地方也比不上GPT3.5。 想微调的可以试试，日常使用就算了。

terryops avatar Jul 11 '23 09:07 terryops

+1

Cat-L avatar Jul 12 '23 02:07 Cat-L

+1

wzwtime avatar Jul 13 '23 06:07 wzwtime

已提供Chat版本。见更新后的README

GradientGuru avatar Jul 14 '23 05:07 GradientGuru

已提供Chat版本。见更新后的README

@GradientGuru https://huggingface.co/baichuan-inc/Baichuan-13B-Chat-int8 404了

GuohongLi avatar Jul 14 '23 07:07 GuohongLi

Baichuan-13B-Chat-int8 又删掉了？

jiacheo avatar Jul 14 '23 08:07 jiacheo