ceci3
ceci3
您好，感谢反馈哈~
https://github.com/PaddlePaddle/PaddleNLP/issues/2913 可以参考这个哈~
你好，导出的模型里是不是有nms？在导出模型的时候可以去掉nms，参考：https://github.com/PaddlePaddle/PaddleDetection/blob/ede22043927a944bb4cbea0e9455dd9c91b295f0/deploy/third_engine/demo_openvino/python/README.md#%E7%9C%9F%E5%AE%9E%E5%9B%BE%E7%89%87%E6%B5%8B%E8%AF%95%E7%BD%91%E7%BB%9C%E5%8C%85%E5%90%AB%E5%90%8E%E5%A4%84%E7%90%86%E4%BD%86%E4%B8%8D%E5%8C%85%E5%90%ABnms
可以把.pdmodel模型发一下，我看下模型结构~
我问了下相关同学，solov2不能去掉后处理，那可以先手动设置下蒸馏的 node为所有conv2d的输出，我们后续优化下这个模型的自动压缩功能~
可以安装paddlepaddle2.3试下
https://github.com/PaddlePaddle/PaddleSlim/blob/develop/demo/quant/quant_post/quant_post.py#L75 如果有已经写好的dataloader的话，可以直接传入dataloader，不用写 sample_generator 了
> > > > 我将paddleslim的版本更新为了2.2.2后，可以使用dataloader的选项，但是现在报错feed_list的数量不匹配 错误信息：ValueError: (InvalidArgument) The sample number of reader's input data and the input number of feed list are not equal.  应该是dataloader返回的输入的数量和模型里面的输入的数量不匹配，可以用netron可视化模型看下输入叫什么，然后在dataloader里相应的改一下就可以了~
这个应该是得看具体的硬件推理实现，slim产出的量化模型是支持对leakyRelu量化的
slim离线量化产出的模型可以直接用trt运行，可以参考https://github.com/PaddlePaddle/Paddle-Inference-Demo/blob/master/docs/optimize/paddle_trt.rst#int8%E9%87%8F%E5%8C%96%E9%A2%84%E6%B5%8B 这里的文档，目前trt只支持有校准数据的离线量化，不支持没有校准数据的离线量化