PaddleNLP
PaddleNLP copied to clipboard
[Unified Checkpoint] Checkpoint compression
PR types
PR changes
Description
checkpoint 压缩功能实现 新增参数
- --ckpt_quant_stage "O0"/"O1"/"O2"
-
O0:不压缩
-
O1:channel-wise int8 压缩
-
O2:group-wise int4 压缩
- --checkpoint_config "remove_master_weight"
-
amp O2开启此 flag 不额外保存master weight权重
-
如果开启此 flag 去载入有 master weight 的 checkpoint,依旧会正常读取 master weight 进行载入