xiaotailang
xiaotailang
@yunyaoXYY 好的,谢谢
@yunyaoXYY 我按照自动压缩教程输入fastdeploy compress --config_path=./configs/detection/ppyoloe_plus_withNMS_quant.yaml --method='PTQ' --save_dir='./test_ptq_model/'其中的路径改为了我自己的,配置文件里面的模型和参数文件也指定的我自己的,运行时提示下面这个 fastdeploy compress --config_path=./configs/detection/ppyoloe_plus_withNMS_quant.yaml --method='PTQ' --save_dir='./test_ptq_model/' usage: fastdeploy [-h] --recipe RECIPE --mode MODE [--queue_dir QUEUE_DIR] [--base BASE] [--docker_args DOCKER_ARGS] fastdeploy: error: the following arguments are...
@yunyaoXYY 好的,谢谢
@yunyaoXYY 你好! 我按照你说的删掉额外的fastdeploy能正常压缩模型了,但是通过部署示例部署时出现以下错误: paddle_det/lib/python3.9/site-packages/fastdeploy/vision/detection/ppdet/__init__.py", line 78, in __init__ self._model = C.vision.detection.PPYOLOE( RuntimeError: Check 'read_succeed' failed at frontends/paddle/src/input_model.cpp:295: FrontEnd API failed with GeneralFailure: : File containing constant with name conv2d_0.w_0.quantized.dequantized@zero_point wasn't...
@yunyaoXYY 你好! 后端用的openvino,刚刚改成了ort测试了下是可以推理的,但是openvino就会报昨天提到的错误,后端为ort时还遇到了一些问题: 1.paddle模型导出之后不进行压缩量化直接用ort推理的时间和量化之后的模型推理时间,几乎是一样的。速度几乎没有提升 2.压缩量化之后的模型精度严重下降了,下降幅度很多。 我是用的ppyoloe+ s版本模型进行的离线压缩量化实验,相关配置是用的github提供的默认的,请问下这种现象可能有哪些原因导致的呢?
@yunyaoXYY 是的压缩配置默认是用的这个,warm up有相关的指导说明吗?