whs
whs
@marsbzp 请问在用Paddle-TensorRT推理时,具体报什么错误呢? 理论上,动态图产出的量化模型,也是可以用Paddle-TenorRT推理的。 @yghstill
收到,我们安排相关同学看下这个问题。
感谢反馈,剪裁模块的敏感度分析需要在训好的模型上做。 我们会完善下log提示信息。
很抱歉,这么久才回复您。 >picoDet 目前的量化训练精度调优ok了吗? 暂时效果还不符合预期 >关于量化压缩,以下两个链接 有啥区别,还是完全可以合并为一个? https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.4/configs/slim 这个链接是用有监督数据(带label的数据),使用单个压缩策略。 https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/auto_compression/detection 这个链接是用无监督数据(无label),借助蒸馏策略,直接对推理模型(无训练逻辑)进行压缩。 目前发现,使用无监督数据,在图像目标检测任务上的效果很难达到预期。我们正在尝试解决该问题。 多谢您的关注。
## 计算FLOPs的方法 第一步:使用load_inference_model加载推理模型为program, 参考:https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/static/load_inference_model_cn.html#load-inference-model 第二步:使用paddle.flops接口计算FLOPs: https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/flops_cn.html#flops ## 关于量化模型的说明 1. PaddleSlim产出的量化模型文件,还是以float32的数值类型存储的权重,所以模型大小不会改遍。在用Paddle-Lite和Paddle Inference推理时,会按Int8进行计算。 2. 相比Float32模型,Int8量化模型的参数数量不会减少,只是数值类型的变化 3. FLOPs不能表示量化模型的计算量,理论上量化模型的计算量和Float32模型是一样的,只是计算精度不一样 4. Slim保存的量化模型中,会插入一些量化、反量化OP,这些OP反而会使量化模型的FLOPs变大;。在部署推理时,这些量化、反量化OP会被删掉
请问,您使用的PaddleSlim版本是?
感谢反馈,我们正在尝试修复该问题。如有进度,会及时同步。
以上问题均在PaddleOCR dygraph分支修复:https://github.com/PaddlePaddle/PaddleOCR/tree/dygraph
## 剪裁错误 >Traceback (most recent call last): File "deploy/slim/prune/sensitivity_anal.py", line 147, in main(config, device, logger, vdl_writer) File "deploy/slim/prune/sensitivity_anal.py", line 77, in main flops = paddle.flops(model, [1, 3, 640, 640]) 该问题主要原始是在sensitivity_anal.py文件中调用paddle.flops时,传入了错误的shape,...
@Dora1483 请问“demo_yolofastest.py”所在路径是?