PaddleSlim icon indicating copy to clipboard operation
PaddleSlim copied to clipboard

TypeError: quant_post_static() got an unexpected keyword argument 'data_loader'

Open Dora1483 opened this issue 2 years ago • 24 comments

有人知道这个问题是什么引起的吗?

Dora1483 avatar Apr 18 '22 17:04 Dora1483

@Dora1483 更新PaddlePaddle到2.2.2试下呢?

yghstill avatar Apr 19 '22 07:04 yghstill

@Dora1483 更新PaddlePaddle到2.2.2试下呢? 嗨, 老师, 您好。 我已经更新了paddlepaddle的版本。 还是报错了。我现在还疑惑的是,paddleslim支持yolofastest模型做模型压缩吗? 或者我可以将yolofastest模型转为paddlelite模型后再做paddleslim吗? 感谢您百忙之中为我解答疑惑, 不胜感激!!68

Dora1483 avatar Apr 19 '22 14:04 Dora1483

@yghstill

嗨, 老师, 您好。 我已经更新了paddlepaddle的版本。 还是报错了。我现在还疑惑的是,paddleslim支持yolofastest模型做模型压缩吗? 或者我可以将yolofastest模型转为paddlelite模型后再做paddleslim吗? 感谢您百忙之中为我解答疑惑, 不胜感激!!

Dora1483 avatar Apr 19 '22 14:04 Dora1483

@Dora1483

  1. yolofastest模型可以通过x2paddle工具转到paddle,然后使用离线量化接口就可以完成量化,然后再使用Paddle Lite转成nb模型,就可以直接在Paddle lite上部署了。
  2. 看你报错data_loader这个功能应该很早就支持了的,编译安装PaddleSlim develop版本,安装develop最新Paddle再试下吧:https://www.paddlepaddle.org.cn/install/quick?docurl=/documentation/docs/zh/develop/install/pip/linux-pip.html

yghstill avatar Apr 22 '22 03:04 yghstill

@yghstill 老师, 您好!

  1. 因为我的出发点是想基于paddleslim, 针对yolofastest的模型做一些模型压缩方面的实验, 看看压缩后的精度和速度有什么具体的表现。 所以目前我是将yolofastest转成paddlelite模型,即.pdmodel文件, 参考的做法是静态离线量化。
  2. 我解决data_loader的问题, 是把导入模块的路径改了一下,然后就不会报错data_loader了。
  3. 基于静态离线量化的模型压缩, 目前是只想复现一下当模型是MobileNet时, 能不能把整套流程打通。 所以, 目前卡在了一个地方。 就是运行quant_post.py时, 会报错:Exception: 'feed_targets' does not have inputs variable。 还没有解决掉。

如果您有好的方法, 可以交流一下吗? 感谢您的宝贵时间与建议, 不胜感激!

Dora1483 avatar Apr 22 '22 03:04 Dora1483

@Dora1483 推荐你使用下自动压缩的目标检测demo,https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/auto-compression/configs/PaddleDet ,先看下文档。 yolofastest的输入应该只有一个image吧,只需要修改代码中的feed,只保留image,https://github.com/PaddlePaddle/PaddleSlim/blob/develop/demo/auto-compression/demo_coco.py#L69-L71 先加载coco数据集,把eval的流程跑通,然后就可以跑下code free的量化+蒸馏。如果有使用细节上的问题,欢迎继续交流。 建议先跑自动压缩的demo,关于离线量化的demo我们测试了没有问题,再确认下Paddle和PaddleSlim的版本。

yghstill avatar Apr 22 '22 11:04 yghstill

@Dora1483 转到paddle的模型可以打包发下,我这边也同步调试下~

yghstill avatar Apr 22 '22 12:04 yghstill

@yghstill 嗨, 老师, 首先感谢您回复我的问题。

  1. 我现在遇到的这些问题都是基于MobileNet碰到的, 因为刚开始做的时候我是先用的自己的模型, 后来发现我卡在一个问题上就先搁置了。 所以现在的提问都是基于MobileNet做的, 即参考的https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/quant/quant_post 这个, 想把流程先跑通。
  2. 我的模型已经打包了。 4_50m.zip

感谢老师百忙之中的指导, 感恩~~~

Dora1483 avatar Apr 22 '22 12:04 Dora1483

老师,我已经在git上回复您啦~您看一下呢

发自我的iPhone

------------------ Original ------------------ From: Guanghua Yu @.> Date: Fri,Apr 22,2022 8:00 PM To: PaddlePaddle/PaddleSlim @.> Cc: Dora1483 @.>, Mention @.> Subject: Re: [PaddlePaddle/PaddleSlim] TypeError: quant_post_static() got an unexpected keyword argument 'data_loader' (Issue #1052)

@Dora1483 转到paddle的模型可以打包发下,我这边也同步调试下~

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Dora1483 avatar Apr 22 '22 12:04 Dora1483

嗨, 老师:      我又把模型打包发给您了。  见附件哦~~     感谢您的宝贵时间。

------------------ 原始邮件 ------------------ 发件人: "PaddlePaddle/PaddleSlim" @.>; 发送时间: 2022年4月22日(星期五) 晚上8:00 @.>; @.@.>; 主题: Re: [PaddlePaddle/PaddleSlim] TypeError: quant_post_static() got an unexpected keyword argument 'data_loader' (Issue #1052)

@Dora1483 转到paddle的模型可以打包发下,我这边也同步调试下~

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Dora1483 avatar Apr 22 '22 12:04 Dora1483

@Dora1483 好的,收到

yghstill avatar Apr 23 '22 01:04 yghstill

@yghstill 老師, 您好。 我在复现静态离线量化时碰到的问题解决了。 主要原因是我的paddleslim的工程是4月3日左右的, 后面一直没有关注线上github的更新, 刚刚更新了一下工程, demo没有什么问题。 谢谢您~~

Dora1483 avatar Apr 23 '22 09:04 Dora1483

@yghstill 嗨, 老师, 我感觉这个地方好像不太对,您看一下呢~ https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/auto-compression/configs/PaddleDet

71

Dora1483 avatar Apr 23 '22 10:04 Dora1483

@Dora1483 嗯嗯,文档我们修改下

yghstill avatar Apr 24 '22 02:04 yghstill

@Dora1483 有几个问题想咨询你 (1)上面的模型是coco上训好的模型,还是其他数据集模型?能否提供一个官方的coco上的模型,量化后方便验证。 (2)因为该模型未包含nms操作,yolofastest导出到paddle的模型后处理和评估AP等指标的代码有吗?想验证下量化后模型的精度损失~

yghstill avatar Apr 24 '22 02:04 yghstill

没有哎,只有模型~

发自我的iPhone

------------------ Original ------------------ From: Guanghua Yu @.> Date: Sun,Apr 24,2022 10:48 AM To: PaddlePaddle/PaddleSlim @.> Cc: Dora1483 @.>, Mention @.> Subject: Re: [PaddlePaddle/PaddleSlim] TypeError: quant_post_static() got an unexpected keyword argument 'data_loader' (Issue #1052)

@Dora1483 yolofastest导出到paddle的模型评估AP等指标的代码有吗?想验证下量化后模型的精度损失~

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Dora1483 avatar Apr 24 '22 03:04 Dora1483

@yghstill 老师, (1)上面的模型是其他数据集的, 没有基于coco的模型; (2)没有yolofastest导出到paddle模型的后处理和mp指标代码。 啊, 真是抱歉~~~

Dora1483 avatar Apr 24 '22 06:04 Dora1483

@Dora1483 已添加yolofastest 量化加蒸馏的自动压缩代码,拉取上面的PR,或者https://github.com/yghstill/PaddleSlim/tree/add_yolofastest_auto_compress 启动方式:

export PYTHONPATH=/path/to/PaddleSlim/:$PYTHONPATH
CUDA_VISIBLE_DEVICES=7 python3.7 demo_yolofastest.py --model_dir='./yolofastest/' \
            --model_filename='model.pdmodel' \
            --params_filename='./model.pdiparams' \
            --save_dir='./output/' \
            --devices='gpu' \
            --config_path='configs/PaddleDet/yolofastest_qat_dis.yaml'

另外,方便提供yolofastest官方coco的paddle模型吗?我测试完成后yolofastest的自动压缩demo就可以正式合入并发布了~

yghstill avatar Apr 24 '22 07:04 yghstill

@yghstill 嗨, 老师, 我这边没有coco的paddle官方模型, 好尴尬。 我这个数据不是基于coco 数据集做的。 数据格式是每一张图片对应一个txt 进行的训练。

Dora1483 avatar Apr 24 '22 07:04 Dora1483

@Dora1483 嗯嗯,好的,我有空再看下,你先使用上面代码验证下效果哈~

yghstill avatar Apr 24 '22 07:04 yghstill

@yghstill 好的, 老师。 谢谢您呀~~~有问题再向您请教交流~~~~感恩

Dora1483 avatar Apr 24 '22 07:04 Dora1483

Exception: 'feed_targets' does not have x variable.

在运行python auto-compression/demo_yolofastest.py 报错。 @yghstill

Dora1483 avatar Jul 01 '22 10:07 Dora1483

@Dora1483 有几个问题想咨询你 (1)上面的模型是coco上训好的模型,还是其他数据集模型?能否提供一个官方的coco上的模型,量化后方便验证。 (2)因为该模型未包含nms操作,yolofastest导出到paddle的模型后处理和评估AP等指标的代码有吗?想验证下量化后模型的精度损失~

哈喽, 老师, coco的模型可以参考这个——https://github.com/dog-qiuqiu/Yolo-Fastest

Dora1483 avatar Jul 08 '22 09:07 Dora1483

正在跟进中~

yghstill avatar Jul 13 '22 08:07 yghstill

好的,我先看一下您的更新。谢谢您啦~

发自我的iPhone

------------------ Original ------------------ From: Guanghua Yu @.> Date: Sun,Apr 24,2022 3:57 PM To: PaddlePaddle/PaddleSlim @.> Cc: Dora1483 @.>, Mention @.> Subject: Re: [PaddlePaddle/PaddleSlim] TypeError: quant_post_static() got an unexpected keyword argument 'data_loader' (Issue #1052)

@Dora1483 嗯嗯,好的,我有空再看下,你先使用上面代码验证下效果哈~

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Dora1483 avatar Oct 11 '22 08:10 Dora1483

好的,我现在打包发您。

发自我的iPhone

------------------ Original ------------------ From: Guanghua Yu @.> Date: Fri,Apr 22,2022 8:00 PM To: PaddlePaddle/PaddleSlim @.> Cc: Dora1483 @.>, Mention @.> Subject: Re: [PaddlePaddle/PaddleSlim] TypeError: quant_post_static() got an unexpected keyword argument 'data_loader' (Issue #1052)

@Dora1483 转到paddle的模型可以打包发下,我这边也同步调试下~

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Dora1483 avatar Oct 11 '22 08:10 Dora1483

方便私发一个你们基于yolofastest的步骤或者教程么?

发自我的iPhone

------------------ Original ------------------ From: Guanghua Yu @.> Date: Sun,Apr 24,2022 10:48 AM To: PaddlePaddle/PaddleSlim @.> Cc: Dora1483 @.>, Mention @.> Subject: Re: [PaddlePaddle/PaddleSlim] TypeError: quant_post_static() got an unexpected keyword argument 'data_loader' (Issue #1052)

@Dora1483 yolofastest导出到paddle的模型评估AP等指标的代码有吗?想验证下量化后模型的精度损失~

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Dora1483 avatar Oct 11 '22 09:10 Dora1483