New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Understanding the Disharmony between Dropout and Batch Normalization by Variance Shift #608

Open
icoxfog417 opened this Issue Jan 19, 2018 · 0 comments

Comments

Projects
None yet
1 participant
@icoxfog417
Member

icoxfog417 commented Jan 19, 2018

一言でいうと

正則化の手法としてよく使われるDropoutとBatch Normalizationは、併用するとパフォーマンスの悪化が起こることがあるが、その原因について検証した研究。悪化の理由として、Dropoutを行うことで学習時と評価時で分散が変わってしまう一方、Batch Normalizationは学習で得られた分散を評価時もキープしてしまうため齟齬が生じることが原因と指摘された。

論文リンク

https://arxiv.org/abs/1801.05134

著者/所属機関

Xiang Li, Shuo Chen, Xiaolin Hu, Jian Yang

  • DeepInsight@PCALab, Nanjing University of Science and Technology
  • Tsinghua University

投稿日付(yyyy/MM/dd)

2018/1/16

概要

新規性・差分

手法

結果

コメント

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment