swift icon indicating copy to clipboard operation
swift copied to clipboard

Published 20 hours ago • verified publisher icon modelscope

merge lora后qwen1.5-7b变得特别大？

Open qianliyx opened this issue 2 months ago • 9 comments

用qwen1.5-7b采用swift官网的自我认知微调后，开始使用CUDA_VISIBLE_DEVICES=0 swift export --ckpt_dir xxx --merge_lora true 进行权重合并，结果合并后模型变成了二十几个GB的大小，比原模型大出一倍？

是因为我在lora微调时dtype是auto自动选择fp32而不是fp16的原因吗？

qianliyx avatar Apr 16 '24 09:04 qianliyx