BELLE icon indicating copy to clipboard operation
BELLE copied to clipboard

Published 20 hours ago • verified publisher icon LianjiaTech

谁有量化后的版本？

Open pangguoqing opened this issue 1 year ago • 3 comments

https://github.com/cocktailpeanut/dalai，的Alpaca 7B 量化的版本在我的Mac OS M1上可以跑起来。

pangguoqing avatar Mar 23 '23 02:03 pangguoqing

我们正在研发量化功能，将大大降低推理的硬件需求，预计本周发布

mabaochang avatar Mar 23 '23 04:03 mabaochang

非常期待，28G的模型下幸苦下了一晚，加载时各种OOM，白下了。

ct1976 avatar Mar 23 '23 07:03 ct1976

大佬太牛, 期待啊

yunho avatar Mar 23 '23 13:03 yunho

量化模型已经发布，见README.md

tjadamlee avatar Mar 25 '23 16:03 tjadamlee

量化模型已经发布，见README.md

威武

pangguoqing avatar Mar 27 '23 02:03 pangguoqing

Mac OS M1没能把量化后的模型跑起来。根据https://github.com/LianjiaTech/BELLE/tree/main/gptq提到的安装过程，依赖 nvidia 提供的CUDA，但MacOS没有nvidia显卡，所以也就没有对应的工具。https://developer.nvidia.com/cuda-downloads

MacOS 是否还有其它方式跑量化后的模型？另外我有一台windows 10，有Nvidia显卡，但显卡比较初级，显存只有5G。但内存有32G。 是否有办法在内存中跑？

pangguoqing avatar Mar 28 '23 13:03 pangguoqing