Baichuan-13B 什么时候有量化后的模型

什么时候有量化后的模型

Open Nerva05251228 opened this issue 1 year ago • 2 comments

RT 现在每次启动都需要使用CPU量化，速度太慢了

Jul 13 '23 05:07 Nerva05251228

这两天会发布

Jul 13 '23 06:07 jameswu2014

可以试试 bitsandbytes 量化，我写了一篇教程： https://zhuanlan.zhihu.com/p/643307410

Jul 13 '23 06:07 ShadowPower

已经有Chat的量化版本。见更新后的README

Jul 14 '23 05:07 GradientGuru

@GradientGuru 大佬，Chat的量化版本链接好像失效了，无法下载，麻烦帮忙看看

Aug 09 '23 08:08 Gzj369

找到了，可以用这个链接访问下载 8bit量化后的模型，https://huggingface.co/trillionmonster/Baichuan-13B-Chat-8bit/tree/main

Aug 12 '23 01:08 Gzj369