XGZhang
Results
1
issues of
XGZhang
需求描述： 需要将量化模型通过网络下发私有化现场，所以希望在存储时减小模型体积，以int8格式存储并下发，paddleinference部署时直接加载int8模型并转为fp32格式，用于tensorrt推理。 模型和环境： ppyolo_r18 paddle-develop paddleslim2.0 paddledetection2.0 问题描述： 1. 模型离线量化后，将数据类型强制转为int8后存储，未考虑量化scale，加载此模型后，精度会降低为0。 2. 如果将模型量化后分别存储scale与int8范围内的权重，加载模型后需要进行反量化操作。