Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift

[icoxfog417]

一言でいうと

正則化の手法としてよく使われるDropoutとBatch Normalizationは、併用するとパフォーマンスの悪化が起こることがあるが、その原因について検証した研究。悪化の理由として、Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が生じることが原因と指摘された。

論文リンク

https://arxiv.org/abs/1801.05134

著者/所属機関

Xiang Li, Shuo Chen, Xiaolin Hu, Jian Yang

• DeepInsight@PCALab, Nanjing University of Science and Technology
• Tsinghua University

投稿日付(yyyy/MM/dd)

2018/1/16

概要

新規性・差分

手法

結果

コメント

[tmitanitky]

追記：具体的な例として、Batch normalizationの前にDropoutを置くとパフォーマンスが悪化するとのこと。その解決策の一つとして、Batch normalizationの後にDropoutを置くという対応策があり、Dropoutを入れるならSoftmaxの直前に1層のDropoutを入れることが推奨されている。