Frustratingly Short Attention Spans in Neural Language Modeling

[icoxfog417]

一言でいうと

Attentionを行う場合、隠れ層のベクトルは次の単語の予測・Attentionの算出・将来の単語に有用な情報の格納、という3つの役割を担っていることになる。なので出力を3つにして役割分担させるアイデア。併せて、単純に過去の隠れ層を結合して入力するだけでも高精度になることを確認

論文リンク

https://arxiv.org/abs/1702.04521

著者/所属機関

Michał Daniluk, Tim Rocktäschel, Johannes Welbl, Sebastian Riedel

Department of Computer Science
University College London

解説

自然言語処理における、Attentionの耐えられない短さ

[icoxfog417]

解説ブログが登場

Frustratingly Short Attention Spans (ICLR 2017) - A Summary