张正东

icon company 北京航空航天大学 icon location 北京

Results 1 comments of 张正东

int8量化感知训练，保存的模型依然是fp32

@jinmin527 你好，想问问你是怎么量化保存的，我是在微调训练的get_model之后添加的BMQuant.quantize(model, quantization_config)进行量化，能够保存模型，但是加载该模型推理时报了ValueError: Missing some parameters in layer 1