对ViT骨干网络细微改动后性能大幅下降

[wanderer1230]

您好！抱歉打扰您。我最近尝试对您提出的Baseline进行改进，例如在PatchEmbed_overlap中加入卷积，但性能都大幅下降。

我看到您之前的回答 ： “最根本的原因在于你新加的conv层没有预训练而是随机初始化，而vit的其他层全部都是ImageNet预训练的，导致网络输入全部错乱了，因此产生了掉点”

我想请问一下“网络输入全部错乱”指的是什么意思？以及如何解决这个问题？（目前的实验条件不支持我重新在ImageNet上重新预训练模型）

[michuanhaohao]

这个没办法解决，改动backbone效果很差这个问题就是一直制约ReID backbone设计发展的一个重要因素，不仅是vit，过去的CNN也是如此。所以可以看到所有的工作都不会改backbone的结构。

这个问题只能通过预训练来解决，要么ImageNet预训练，要么用TransReID-SSL去预训练

[zzk2021]

没有预训练效果差很多，尤其是mAP掉的严重。cnn也是如此