ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard
Published 1 week ago • verified publisher icon modelscope

awq 微调后如何推理

Open hehuang139 opened this issue 1 year ago • 2 comments

qwen1.5-14b-chat-awq量化后，查文档得知是不支持合并的，但是推理部分又都是要求merge的模型，推理的文档都查看过了，没有找到方法，是不支持推理吗？

hehuang139 avatar May 25 '24 02:05 hehuang139

image

hehuang139 avatar May 25 '24 02:05 hehuang139

没有懂，你是qlora微调过了吗

Jintao-Huang avatar May 25 '24 08:05 Jintao-Huang

我改成qlora再试了，之前是awq的模型做微调，无法merge

hehuang139 avatar May 27 '24 01:05 hehuang139

我改成qlora再试了，之前是awq的模型做微调，无法merge

所以你是 qlora 微调原始模型，然后再 merge 的吗？

Greywan avatar Jan 02 '25 16:01 Greywan