MOSS
MOSS copied to clipboard
参考chatglm的int8来低成本部署moss
参考chatglm-6b的moss的int8量化部署,单卡最低占用约18个G,此外也有转chatglm-6b、bella、llama-7b的推理(含量化版本,单卡12G可跑)及微调,见bert4torch
@Tongjilibo 今天会支持moss-moon-sft和moss-moon-sft-plugin的4bit 8bit版本
已支持,请check README开源清单:https://github.com/OpenLMLab/MOSS#%E6%A8%A1%E5%9E%8B