PaddleSlim icon indicating copy to clipboard operation
PaddleSlim copied to clipboard

如何量化LSTM层

Open qiuming-93 opened this issue 3 years ago • 3 comments

https://github.com/PaddlePaddle/PaddleSlim/issues/937 在这个issue中说到静态模型的静态量化支持LSTM层 但是在静态模型中LSTM被转换成了如下图所示的rnn等op操作,量化时并没有lstm这个op,导致最终lstm层并没有量化 而rnn这个op又不支持量化,如果想要量化lstm的话该如何量化呢 image

qiuming-93 avatar Aug 30 '22 06:08 qiuming-93

@qiuming-93 你的模型是动转静得到的吗?

yghstill avatar Aug 31 '22 02:08 yghstill

@qiuming-93 你的模型是动转静得到的吗?

是的,是文本识别模型,训练之后export得到的

qiuming-93 avatar Aug 31 '22 02:08 qiuming-93

@qiuming-93 目前rnn的算子还不支持,主要是Paddle Inference预测库不支持量化预测,这个算子可不量化

yghstill avatar Aug 31 '22 03:08 yghstill

@qiuming-93 hi 自动压缩工具正在打磨PP-OCRv3模型的压缩量化,欢迎关注,预计Q4会发布。

leiqing1 avatar Sep 29 '22 05:09 leiqing1