-
Notifications
You must be signed in to change notification settings - Fork 0
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
Masked Autoencoders Are Scalable Vision Learners #21
Comments
背景NNのモデルは年々複雑かつ大容量になってきており、それに伴って巨大なデータセットで合っても過学習しやすくなっている。そのため、学習のためにこれまで以上に巨大なデータセットが必要になってきている。また、それに伴って学習時間の長時間化も問題になっている。 一般に、巨大なラベル付き画像データを用意・使用するのは簡単ではなく、汎用的な用途で使用できる自己教師あり学習が注目されている。 NLPの世界では、BERTを始めとするMasked autoencodingの手法は上手くいっていたが、画像ではNLPほど上手くはいっていなかった。これは、
などの理由で、画像では上手くいっていなかったと考えている。 |
問題意識画像における精度の高いモデルを作る際の効果的な学習には大量のデータや時間・リソースがかかる 目的
アプローチ
|
Masked autoencoders (MAE)主な仕組みは下図のようになっている。 Masking入力の画像を規則的なパッチに分割し、一部のパッチをサンプリングしてそれ以外は削除します。 MAE encoderEncoderにはViTをベースにしており、マスクされていないパッチのみに適用される。 MAE decoderMAEデコーダへの入力は、エンコードされた可視パッチと、マスクトークンからなるトークンのフルセットを入力される。 Reconstruction targetMAEは、マスクされた各パッチのピクセル値を予測することで、入力を再構成する。 デコーダの出力の各要素は、パッチを表すピクセル値のベクトルになっている。 |
評価
なにもしないべ−スライン、先行研究の実装を適用した場合より、この手法で事前学習をしたほうがMAEは良かった。 マスキング比率最適なマスキングの比率は、75%が最も良さそうという結果になっている デコーダーデコーダーの深さ(block)と幅(channel)については、一応とっているが、値を変化させてもそこまで大きな差は出ていないように見える Mask75%もの部分をマスクするので、計算時間が劇的に短くなる。(計算量自体が削減されるから) サンプリングランダムが良さそう 先行研究との比較選考小円級より良い値が出てる。 |
論文URL
https://arxiv.org/abs/2111.06377
著者
Kaiming He, Xinlei Chen, Saining Xie, Yanghao Li, Piotr Dollár, Ross Girshick (Facebook AI Research (FAIR))
会議
背景
NNのモデルは年々複雑かつ大容量になってきており、それに伴って巨大なデータセットで合っても過学習しやすくなっている。そのため、学習のためにこれまで以上に巨大なデータセットが必要になってきている。また、それに伴って学習時間の長時間化も問題になっている。
一般に、巨大なラベル付き画像データを用意・使用するのは簡単ではなく、汎用的な用途で使用できる自己教師あり学習が注目されている。
目的
アプローチ
The text was updated successfully, but these errors were encountered: