Kismit

QAT训练得到模型使用paddle_lite_opt转换提示moving_average_abs_max_scale不支持

41

paddle_lite_opt版本v2.9 $ paddle_lite_opt --model_file qat_model.pdmodel --param_file qat_model.pdiparams --optimize_out_type=naive_buffer --optimize_out=trans_qat --valid_targets=arm --quant_model=true --quant_type=QUANT_INT8 Error: This model is not supported, because 1 ops are not supported on 'arm'. These unsupported ops are:...

Transformer 动态图PTQ量化报错

6

paddle版本： 2.2.0 paddleslim版本：2.2.0 代码： ``` from paddleslim import PTQ from paddlenlp.transformers import InferTransformerModel transformer = InferTransformerModel( src_vocab_size=20000, trg_vocab_size=20000, max_length=128, num_encoder_layers=6, num_decoder_layers=2, n_head=8, d_model=256, d_inner_hid=2048, dropout=0.1, weight_sharing=False, bos_id=0, eos_id=1, beam_size=2, max_out_len=128...

Paddle2.1 动态图Embedding层怎么量化，急！

9

需要对Transformer进行量化，可以量化中间层，但是不知道怎么量化Embedding层，Embedding层和其他层一起量化应该怎么配置