PaddleSlim
PaddleSlim copied to clipboard
如何量化LSTM层
https://github.com/PaddlePaddle/PaddleSlim/issues/937
在这个issue中说到静态模型的静态量化支持LSTM层
但是在静态模型中LSTM被转换成了如下图所示的rnn等op操作,量化时并没有lstm这个op,导致最终lstm层并没有量化
而rnn这个op又不支持量化,如果想要量化lstm的话该如何量化呢

@qiuming-93 你的模型是动转静得到的吗?
@qiuming-93 你的模型是动转静得到的吗?
是的,是文本识别模型,训练之后export得到的
@qiuming-93 目前rnn的算子还不支持,主要是Paddle Inference预测库不支持量化预测,这个算子可不量化
@qiuming-93 hi 自动压缩工具正在打磨PP-OCRv3模型的压缩量化,欢迎关注,预计Q4会发布。