New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks #13

Open

KenichiSasaki opened this issue Oct 30, 2019 · 0 comments

Labels

CNN ComputerVision Famous paper

Collaborator

KenichiSasaki commented Oct 30, 2019 •

edited

概要

アルゴリズム論文(2019)
今までのモデルは深さ，幅，解像度に比例して精度が向上してきたが，途中で学習が収束してしまう問題があった．
そのため，深さ，幅，解像度を適切な値にすれば計算量を抑えながら精度向上できるのではという発想
Resnet等に比べて10分の1程度のパラメータでImageNetの最高精度達成

アルゴリズム

モデルのスケーリング(深さ，幅，解像度)とその精度を定量的に評価，
均一のスケーリングで深さ，幅，解像度を調整したモデルを生成し，それらを合成
- スケーリングの係数はグリッドサーチの一種で探索
- 同著者のMnasNetで提案している探索手法を用いている
スケーリングの大きさによって複数のモデルを生成し，それらの精度を検証

実装

ImageNetで精度検証
Compound Scalingモデルがそれまでの最新モデル(GPipe，ResNet)と同程度の精度を6倍の速度で達成
転移学習での有効性もCifer10等の8つのデータセットで検証
- ファインチューニングを行って5つのデータセットで精度改善

所感

モデルそのものを新しくするのではなく，今までのネットワークの層の深さ，幅，画像の解像度ごとにモデルをそれぞれ最適化した結果，かなり精度が上がっている
全探索をうまいことやったらかなりネットワークの縮小化が期待できそう
実装例やパラメータ最適化にグリッドサーチを用いるなど，相当な計算リソースを割いており，そのチューニング方法そのものはいたってシンプル
ImageNetやCifer10など写っているものが似ているものを扱っており，よりVarianceの高いモデルになっている可能性あり
- 衛星画像等の異なるデータで転移学習させた場合うまくできない？

KenichiSasaki added CNN ComputerVision labels

Shaw0202 added the Famous paper label

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment