Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift #608
Labels
Comments
追記:具体的な例として、Batch normalizationの前にDropoutを置くとパフォーマンスが悪化するとのこと。その解決策の一つとして、Batch normalizationの後にDropoutを置くという対応策があり、Dropoutを入れるならSoftmaxの直前に1層のDropoutを入れることが推奨されている。 |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
一言でいうと
正則化の手法としてよく使われるDropoutとBatch Normalizationは、併用するとパフォーマンスの悪化が起こることがあるが、その原因について検証した研究。悪化の理由として、Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が生じることが原因と指摘された。
論文リンク
https://arxiv.org/abs/1801.05134
著者/所属機関
Xiang Li, Shuo Chen, Xiaolin Hu, Jian Yang
投稿日付(yyyy/MM/dd)
2018/1/16
概要
新規性・差分
手法
結果
コメント
The text was updated successfully, but these errors were encountered: