fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard

Published 20 hours ago • verified publisher icon ztxz16

fastllm是否支持使用bitsandbytes量化的chatglm3-6b-base int4模型

Open levinxo opened this issue 11 months ago • 0 comments

目前使用torch2flm脚本转换chatglm3-6b-base int4模型，会产生20多G的.flm文件。 请问是否支持直接将int4量化的chatglm3-6b-base模型转为flm文件并推理？

levinxo avatar Mar 12 '24 10:03 levinxo