mindcv icon indicating copy to clipboard operation
mindcv copied to clipboard

mindcv在下游任务作为backbone提取特征使用,需要新的支持

Open MiZhangWhuer opened this issue 1 year ago • 2 comments

当前mindcv提供的backbone在分割、检测下游任务迁移,存在如下问题: 参考示例:https://github.com/mindspore-lab/models/blob/master/official/cv/OCRNet/README.md

  1. 多尺度特征的获取: 针对没有skip-connection的模型,如vgg系列,backbone的多尺度特征无法获取,需要提供可获取模型特征的方法

  2. 大模型缺乏特征unpatchfy机制。 transformer系列(vistformer、swin_transformer、vit等)其中,vistformer、swin_transformer仅能以固定的尺寸224、386作为特征提取器,并且不能进行多尺度特征提取;vit的提取器,除了固定尺寸、不能抽取多尺度特征的问题外,docoder部分不能剥离图片分类任务,直接将[B,C,H,W]的特征用于分割任务。

  3. 所有的backbone特征,没有提供特征冻结接口,不能进行仅部分参数微调,需要全量微调,导致训练效率降低,所有下游模型模型参数都需要从头训练。

MiZhangWhuer avatar Jul 07 '23 08:07 MiZhangWhuer

  1. pr #709
  2. pr #711

geniuspatrick avatar Sep 25 '23 03:09 geniuspatrick

您好,我使用了mindcv提供的多尺度特征提取教程对swintransformer进行处理,发现存在raise NotImplementedError的错误。如果您有空您能帮我看看吗?谢谢

yanglixiaoshen avatar Nov 08 '23 02:11 yanglixiaoshen

您好,我使用了mindcv提供的多尺度特征提取教程对swintransformer进行处理,发现存在raise NotImplementedError的错误。如果您有空您能帮我看看吗?谢谢

Thank you for your contribution to mindcv. According to our tutorial, we currently only support multi-scale feature extraction for the following networks: ResNet, MobileNetV3, ConvNeXt, ResNeST, EfficientNet, RepVGG, HRNet, and ReXNet. We will try our best to consider your needs and update the list of supported networks.

IASZHT avatar Aug 09 '24 08:08 IASZHT