2016: Machine Comprehension Using Match-LSTM and Answer Pointer

[jojonki]

Machine Comprehension Using Match-LSTM and Answer Pointer
Shuohang Wang, Jing Jiang, https://arxiv.org/abs/1608.07905

処理ステップ

0. PassageとQueryは何らかのEmbeddingをする（GloveとかWord2vecとか）
1. LSTM Preprocessing Layer
   PassageとQueryはそれぞれLSTM（単方向）に入れ，HpとHqを得る

2. Match-LSTM Layer
   アテンションを計算する．Query全体とi番目のPassageの単語で下記のようなGを作り，affine変換＋softmaxでi番目のPassageの単語に対するアテンションαiを計算する．第２項のカッコの中の第２項であるhr_i-1は次に説明．⊗ eQはテンソル積で，Query長になるよう第２項の値を繰り返して，第１項と第２項で足し算できるようにしている．

i番目のPassageのトークンと，i番目に対するQueryへのアテンションαiをQuery全体のhidden representationsにかけたもの，のconcatしたziを得る

これをLSTMに入れる

パッセージの逆方向からも同様の処理をする．

両方向の長さP（Passage長）の隠れ状態をcocatしてHrを手に入れる

3. Answer Pointer Layer
   Pointer Networks（入力シーケンスに対してのインデックスが出力となる構造）で答えを予測する．SQuADはPassageの中のどこが答えか？という問題なので適用できる．Sequence ModelとBoundary Modelがあり，前者は答えのシーケンス（単語idのシーケンス）を出力する（閾値長を超えるか，特殊文字を出力するまでが答え，Passage中の連続する単語を答えるとは限らない）．後者は答えのシーケンスの頭とお尻の2つのインデックスを答えるモデル．こちらの方がうまくいった

結果

[jojonki]

追試
https://github.com/jojonki/JNet/blob/master/match_lstm.py