Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

mindcv在下游任务作为backbone提取特征使用,需要新的支持 #702

Open
MiZhangWhuer opened this issue Jul 7, 2023 · 2 comments

Comments

@MiZhangWhuer
Copy link

当前mindcv提供的backbone在分割、检测下游任务迁移,存在如下问题:
参考示例:https://github.com/mindspore-lab/models/blob/master/official/cv/OCRNet/README.md

  1. 多尺度特征的获取:
    针对没有skip-connection的模型,如vgg系列,backbone的多尺度特征无法获取,需要提供可获取模型特征的方法

  2. 大模型缺乏特征unpatchfy机制。
    transformer系列(vistformer、swin_transformer、vit等)其中,vistformer、swin_transformer仅能以固定的尺寸224、386作为特征提取器,并且不能进行多尺度特征提取;vit的提取器,除了固定尺寸、不能抽取多尺度特征的问题外,docoder部分不能剥离图片分类任务,直接将[B,C,H,W]的特征用于分割任务。

  3. 所有的backbone特征,没有提供特征冻结接口,不能进行仅部分参数微调,需要全量微调,导致训练效率降低,所有下游模型模型参数都需要从头训练。

@yanglixiaoshen
Copy link

您好,我使用了mindcv提供的多尺度特征提取教程对swintransformer进行处理,发现存在raise NotImplementedError的错误。如果您有空您能帮我看看吗?谢谢

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants