Query and Output: Generating Words by Querying Distributed Word Representations for Paraphrase Generation

[yukiar]

一言でいうと

論文リンク

http://www.aclweb.org/anthology/N18-1018

著者/所属機関

Shuming Ma, Xu Sun, Wei Li, Sujian Li, Wenjie Li, Xuancheng Ren
MOE Key Lab of Computational Linguistics, School of EECS, Peking University
Deep Learning Lab, Beijing Institute of Big Data Research, Peking University
Department of Computing, The Hong Kong Polytechnic University

投稿日付(yyyy/MM/dd)

NAACL2018

概要

Seq2Seq の decoder における output layer で softmax に代えて軽量なベクトル類似度計算による出力単語の決定手法を提案。具体的には hidden layer の出力ベクトルと encoder へのattentionで計算したコンテキストベクトル から計算したベクトルと、単語ベクトルとの類似度を計算しスコア最大の単語を出力する。

Strongness：

• output layer のパラメータ数を大きく削減。
• Text simplificationとsummarizationのデータセットで既存手法を上回る性能を達成。

疑問点：

• Hidden vector と word embedding が似るような学習になっているので、Text simplification のようにほぼ単語の置き換えでいけるタスクに特化している？
• 大きな性能改善を示したText simplificationの実験データがSeq2Seqを学習するには小さすぎる？ Text simplificationではほとんど内容を変えないので、小さいデータセットでも良い。

新規性・差分

Output layerの新たな設計（シンプルかつSoftmaxに比べ軽量）を提案。

手法

結果

Text simplification で顕著な性能改善

[NomotoEriko]

BLEU 94.45 問題．（メモ）