ImageNet-trained CNNs are biased towards texture; increasing shape bias improves accuracy and robustness [ICLR 2019]

[futakw]

論文リンク

https://arxiv.org/abs/1811.12231

概要

・非常に高精度である深層学習による画像認識が、人間とどのように異なるのか分析した。
・ImageNetで学習したCNNモデルにとって画像のテクスチャが重要であるという仮説を検証するために、形状とテクスチャが矛盾した画像（例：画像右）によるStylized-ImageNetというデータセットを構築し、形状に対応するクラスとテクスチャに対応するクラスのどちらであると認識するかを、人間・CNNモデルで比較。

・結果、以下の画像のように人間は形状に偏った認識を行うのに対し、ImageNetで学習したCNNモデルはテクスチャに偏った認識を行うことがわかった。

・また、Stylized-ImageNetで学習させたCNNモデルは形状に偏った認識を行うようになり、perturbationに対して一定のロバスト性を持つようになった。

先行研究との差異

過去の研究でも、CNNにおけるshapeとtextureの重要性の比較は行われてきた。本研究は、中でも非常に直感的に分かりやすい実験によって、人間による評価も加えたうえで比較しているため、評価できる。

手法のキモ

shape, textureで異なるクラスとなっているStylized-ImageNetを構築したところ。

議論

ある程度のノイズにはロバストになったものの、Adversarial Examples には効果がなかったらしいので、さらなる研究が必要である。