IMAGENET-TRAINED CNNS ARE BIASED TOWARDS TEXTURE; INCREASING SHAPE BIAS IMPROVES ACCURACY AND ROBUSTNESS

[AkiraTOSEI]

一言でいうと

従来の定説と異なり、CNNは形状ではなく画像表面の表面質感(Texture）をもとに判断していると提唱。様々な表面質感変換を加えたStylized-ImageNetデータセットを用いて訓練することで、表面質感依存を軽減した頑健性が高いモデルができるようになるとのこと。

論文リンク

https://openreview.net/forum?id=Bygh9j09KX

著者/所属機関

Robert Geirhos, Patricia Rubisch, Claudio Michaelis, Matthias Bethge, Felix A. Wichmann, Wieland Brendel
University of Tu ̈bingen, IMPRS-IS

投稿日付(yyyy/MM/dd)

2018/02/28
ICLR2019

概要

人間は、通常物体の形状で判断するが、実験したところ、そううではない。例えば猫の形状のまま、輪郭の内部を像の皮膚にすると、人間は猫と判断する一方、CNNは像と判断する(Fig.1)。色々な画像で実践してみると、同様の傾向がみられた(Fig.4)

それらの実験結果をもとに、CNNは形状ではなく画像表面の表面質感(Texture）をもとに判断していると提唱。
様々な表面質感変換を加えたStylized-ImageNetデータセット（Fig.7）を用いて訓練することで、表面質感依存を軽減した頑健性が高いモデルができるようになるとのこと。実際にそれらで訓練したモデルは、テクスチャを変換した画像に対して、人間に近い判断をするようになった（下図）。

新規性・差分

従来の仮説（CNNは形状をみている）と異なる主張（CNNはテクスチャをみている）をし、それを実証する実験結果を出した。

手法

様々な表面質感変換を加えたStylized-ImageNetデータセットを提案し、それで学習したモデルを公開

結果

Stylized-ImageNetデータセットで訓練したモデルは、テクスチャを変換した画像に対して、人間に近い判断をするようになった

コメント

最初の実験で、CNNはテクスチャを元に判断していると主張し、それを実証した部分はとても興味深い。
テクスチャをもとに判断しているのであれば、実際のCNNモデルを使って精度向上を図るときに、形状で判断させたい場合は、この論文でなしているようなテクスチャのランダム変換を加えるといいのかもしれない。