Kismit

paddlenlp的版本是2.0.0 根据上面的脚本和配置可以复现，目前项目没有真的去训练，想先调通看性能

请问这个问题有什么进展吗？

根据上面修改后，转换模型报以下错： $ paddle_lite_opt --model_file=qat_model.pdmodel --param_file=qat_model.pdiparams --optimize_out_type=naive_buffer --optimize_out=trans_qat --valid_targets=arm --quant_model=true --quant_type=QUANT_INT8 Loading topology data from qat_model.pdmodel Loading params data from qat_model.pdiparams 1. Model is successfully loaded! [F 11/30 1:25:24.716 ...ite/lite/model_parser/general/op_desc.cc:63 Output]...

... [4 11/30 12: 0:28. 1 /island/Paddle-Lite/lite/core/program.cc PrepareWorkspace:455] Var linear_49.state_0 in block 0 [4 11/30 12: 0:28. 1 /island/Paddle-Lite/lite/core/program.cc PrepareWorkspace:456] - type 10 [4 11/30 12: 0:28. 1 /island/Paddle-Lite/lite/core/program.cc PrepareWorkspace:469]...

我理解是使用paddle_lite_opt 需要import paddlelite，但是我看Paddle-Lite没有setup.py这种安装脚本的，那具体要怎么验证develop分支的修改呢？

是量化训练，量化整个transformer模型包括embedding部分

好的，我试下，这个提交在正式分支上有发布吗？或者有没有发布计划

请教一下，按照上面的修改在quant_layers.py添加QuantizedEmbedding的实现，但是哪里调用这个module呢？是不是还需要修改调用解析的地方

上面那个问题我在./fluid/contrib/slim/quantization/imperative/qat.py +375中找到答案了，感谢！

按照这样在quant layer中添加embedding的quant： ceci3/Paddle@15641f9 应该修改成下面这样吧： `class QuantizedEmbedding(layers.Layer): def __init__(self, layer, weight_bits=8, activation_bits=8, moving_rate=0.9, weight_quantize_type='abs_max', activation_quantize_type='abs_max', weight_pre_layer=None, act_pre_layer=None, weight_quant_layer=None, act_quant_layer=None): super(QuantizedEmbedding, self).__init__() ### For Embedding self.weight = getattr(layer, 'weight') self._name = getattr(layer,...