ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard
Published 1 week ago • verified publisher icon modelscope

swift可以训练量化之后的模型吗，比如modelscope里面的awq或者gptq量化之后的模型

Open LIUKAI0815 opened this issue 1 year ago • 5 comments

因为在训练的时候，加载没有量化的模型，训练完再量化资源不够。可以直接训练官方量化后的模型吗

LIUKAI0815 avatar Jul 23 '24 06:07 LIUKAI0815

如果训练完之后，可以merge lora 吗

LIUKAI0815 avatar Jul 23 '24 06:07 LIUKAI0815

可以训练，但是训练完之后没办法merge-lora.

Jintao-Huang avatar Jul 25 '24 04:07 Jintao-Huang

可以训练，但是训练完之后没办法merge-lora.

能用full的方式训练吗

JiaXinLI98 avatar Jul 31 '24 02:07 JiaXinLI98

这种情况下我理解应该就只能用QLORA训练了。因为单纯的lora训练就已经是加载16位了，而量化后的awq就是int4了，这样训练的精度就对应不上了。full全量训练应该就不更行了，这是我的理解

LIUKAI0815 avatar Jul 31 '24 03:07 LIUKAI0815

@Jintao-Huang 直接用默认的lora训练awq模型吗，默认的lora加载的是16/32位把？

LIUKAI0815 avatar Aug 07 '24 15:08 LIUKAI0815

支持的，QLoRA训练

tastelikefeet avatar Aug 28 '24 08:08 tastelikefeet