CNN vs. ViT, 牛久先生

[AkihikoWatanabe]

https://speakerdeck.com/yushiku/cnn-vs-vit

[AkihikoWatanabe]

・Swin Transformer, Depth-wise conv, ConvNeXt, ViTとCNNのロバスト性の違いの話があり勉強になる
・最終的な結論が、CNNもTransformerも変わらない（明確な勝者はいない; 今のところ引き分け）というのはおもしろかった

[AkihikoWatanabe]

depth-wise conv, point-wise convの解説記事：https://agirobots.com/depthwise-pointwise-convolution/

通常のCNNのフィルタによるfeature map計算を、空間方向（depth-wise conv）とチャネル方向（point-wise conv; 1x1 conv）に分解することで大幅にパラメータ数削減