ceci3
ceci3
请问是量化训练吗?Embedding层量化的话应该只需要量化weight就可以了,我看下需要怎么配置。。
好的,可能需要修改paddle代码,我稍微晚点发出来具体的修改~
1. 按照这样在quant layer中添加embedding的quant: https://github.com/ceci3/Paddle/commit/15641f9cf925f8358d0a764319f9b93432fcb6c1 2. 配置量化参数的时候把 Embedding添加到 quantizable_layer_type中,https://github.com/PaddlePaddle/PaddleSlim/tree/develop/demo/dygraph/quant#%E9%85%8D%E7%BD%AE%E9%87%8F%E5%8C%96%E5%8F%82%E6%95%B0 这样就可以对embedding进行量化了。
暂时还没有在正式分支上发布,我们需要内部讨论下发布计划
> > @Dora1483 请问“demo_yolofastest.py”所在路径是? > > @wanghaoshuang https://github.com/yghstill/PaddleSlim/tree/add_yolofastest_auto_compress 可以用netron可视化看下模型的输入是不是叫 `x` ,不是的话需要修改下这里的key:https://github.com/yghstill/PaddleSlim/blob/add_yolofastest_auto_compress/demo/auto-compression/demo_yolofastest.py#L38
是遇到什么问题了嘛?可以把您的代码提出来我们一起看下~
AutoCompression中的量化训练为量化训练+蒸馏,不用传入标签,可以参考 https://github.com/PaddlePaddle/PaddleSlim/blob/develop/example/auto_compression/detection/configs/ppyoloe_l_qat_dis.yaml 这个配置文件中的量化配置,或者使用离线量化超参搜索的功能,也不需要配置标签信息,只需要传入 config={'Quantization': {}, "HyperParameterOptimization": {}}, 即可
应该是可以的~ 直接参考目标检测的就可以了~
请问下这是用的哪个示例 > 我现在想跑通 “example/auto_compression/image_classification” 这里的例子都失败,明明在前一个目录又数据集下载的地址,在这里又指到ImageNet,ImageNet又没有提供清楚的下载地址,而且国内不好登录这个网站。 > > > 下载MobileNet预测模型 > > wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/inference/MobileNetV1_infer.tar > > tar -xf MobileNetV1_infer.tar > > 下载ImageNet小型数据集 > > wget https://sys-p0.bj.bcebos.com/slim_ci/ILSVRC2012_data_demo.tar.gz > > tar -xf ILSVRC2012_data_demo.tar.gz...
> 我相信你们的技术很强,但是你们的文档实在是太差了,对于初学者根本无法下手。 举个例子,你们的自动压缩ACT,在readme 里面只有量化的选项,我照搬这个例子去运行,可以正常运行,但是如果我需要剪枝呢,该怎么设置,没有例子,没有文档说明,我去看源代码,看到了相关设置,结果还是报错,按照报错提示修改了还是没用。后来发现你们有个文档网站[https://paddleslim.readthedocs.io/zh_CN/develop/cv/detection/static/paddledetection_slim_pruing_tutorial.html,](https://paddleslim.readthedocs.io/zh_CN/develop/cv/detection/static/paddledetection_slim_pruing_tutorial.html%EF%BC%8C) 结果根本就没有详细说明和例子,跳来跳去又跳到github上。微软的nni做的很好,跟着例子就能照猫画虎,你们的这个,我摸索了半天了,还是不行 具体想换成剪枝的话 可以参考这个文档得到各个参数的含义: https://github.com/PaddlePaddle/PaddleSlim/blob/develop/example/auto_compression/hyperparameter_tutorial.md#113-%E7%BB%93%E6%9E%84%E5%8C%96%E7%A8%80%E7%96%8Fsparsity 具体使用示例参考: https://github.com/PaddlePaddle/PaddleSlim/blob/develop/example/auto_compression/image_classification/configs/EfficientNetB0/prune_dis.yaml