mindcv
mindcv copied to clipboard
mindcv在下游任务作为backbone提取特征使用,需要新的支持
当前mindcv提供的backbone在分割、检测下游任务迁移,存在如下问题: 参考示例:https://github.com/mindspore-lab/models/blob/master/official/cv/OCRNet/README.md
-
多尺度特征的获取: 针对没有skip-connection的模型,如vgg系列,backbone的多尺度特征无法获取,需要提供可获取模型特征的方法
-
大模型缺乏特征unpatchfy机制。 transformer系列(vistformer、swin_transformer、vit等)其中,vistformer、swin_transformer仅能以固定的尺寸224、386作为特征提取器,并且不能进行多尺度特征提取;vit的提取器,除了固定尺寸、不能抽取多尺度特征的问题外,docoder部分不能剥离图片分类任务,直接将[B,C,H,W]的特征用于分割任务。
-
所有的backbone特征,没有提供特征冻结接口,不能进行仅部分参数微调,需要全量微调,导致训练效率降低,所有下游模型模型参数都需要从头训练。
- pr #709
- pr #711
您好,我使用了mindcv提供的多尺度特征提取教程对swintransformer进行处理,发现存在raise NotImplementedError的错误。如果您有空您能帮我看看吗?谢谢
您好,我使用了mindcv提供的多尺度特征提取教程对swintransformer进行处理,发现存在raise NotImplementedError的错误。如果您有空您能帮我看看吗?谢谢
Thank you for your contribution to mindcv. According to our tutorial, we currently only support multi-scale feature extraction for the following networks: ResNet, MobileNetV3, ConvNeXt, ResNeST, EfficientNet, RepVGG, HRNet, and ReXNet. We will try our best to consider your needs and update the list of supported networks.