ChatGLM-Tuning icon indicating copy to clipboard operation
ChatGLM-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon mymusise

finetuning.py是不是不支持int8的权重，只能使用f16权重哈

Open zlht812 opened this issue 1 year ago • 2 comments

如题，先谢为敬～

zlht812 avatar May 09 '23 09:05 zlht812

没试过直接load预量化好的int8的权重，但理论上有问题的话改下加载方式就可以

mymusise avatar May 11 '23 11:05 mymusise

没试过直接load预量化好的int8的权重，但理论上有问题的话改下加载方式就可以

作者您好，要是使用执行finetune.py设置参数int8的话，对应的模型是不是也需要chatglm-6b-int8 这个才行呢

GXKIM avatar Jun 01 '23 06:06 GXKIM