2018: Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing

[jojonki]

Large-Scale Multi-Domain Belief Tracking with Knowledge Sharing
Osman Ramadan, Paweł Budzianowski, Milica Gašić. ACL 2018.
https://arxiv.org/abs/1807.06517
Neural Belief Tacker（ベースモデル） (https://github.com/nmrksic/neural-belief-tracker)
提案モデル https://github.com/osmanio2/multi-domain-belief-tracking
データセット１（MultiWOZ） http://dialogue.mi.eng.cam.ac.uk/index.php/corpus/ , Paper: https://arxiv.org/pdf/1810.00278.pdf
データセット２（WOZ 2.0） https://mi.eng.cam.ac.uk/˜nm480/woz_2.0.zip.

概要

マルチドメイン下におけるBelief Tracking (BT)．提案モデルでは，ドメインとそのドメインに対応するBTを推定する．オントロジ単語（スロット型・値で表される）とターン発話の類似性を利用することで，異ドメイン間or単一ドメイン内における異なるスロットのパラメタ共有を可能にする．更にパラメタはオントロジ/Belief状態から独立しているため，パラメタ数はオントロジサイズが大きくなっても増えず，変更無しで柔軟にマルチドメイン空間にデプロイできる．
またAMTで集めた人ー人コーパスも公開（MultiWOZ）．

関連研究

• Neural Belief Tracker ((Mrksiˇ c et al. 2017)
  著者らの先行研究．本研究の手法のベースになっているが，シングルドメインでのみテストされている．またドメイン間のパラメタ共有もない
• Multi-domain Dialogue State Tracking (Rastogi et al. 2017)
  ドメイン間の転移学習を可能にしているが，多様な言語にスケールアップできない（？），非語彙化スロット数に応じてパラメタ数が増える，といった弱点がある

モデル

発話と用語の類似性をBelief state分布の計算に利用するのが本手法のキーである．結果として，ドメイン間のスロットであっても情報は共有される． またパラメタ数もオントロジ空間が大きくなっても増えない．
ユーザー発話及びシステム発話をエンコードするために，７つのBiLSTMが利用される．内３つはそれぞれシステム発話のドメイン，スロット型，スロット値のエンコードに利用する．同様にユーザー発話にも３つ利用する．最後の１つはuser affirmation（これはCNNでエンコードする手法も準備 //なにそれ？）に利用される（これで合計７つ）．発話エンコーダのBiLSTM部分はCNNに置き換えたバージョンも比較．

Domain Tracking（Figure 1の左側）

ユーザー及びシステムのBiLSTMの最終状態hdを取ってくる．またオントロジーのドメインのembedding edを取ってくる．これをMLP＋tanhをかけ，先程のhdと要素単位のmultiplicationする．（下式）．kはusrあるいはsys．下式は，発話のコンテキストベクトルとドメイン（オントロジ）のベクトルをかけ合わせており，これを類似度ベクトルとして扱っている．つまり，両項が同じドメインである場合，強く反応するようにしている．

次にusrおよびsysのdを更にMLPし，sigmoidを取ることで時刻tにおけるドメインdの確率値を取る．これをドメインの数だけ計算する．

Candidate Slots and Values Tracking

Domain Tracking同様，スロット型・値のトラッキングでも類似ベクトルを見る．そのため，３つのケースを検討する：Inform（ユーザーが自分の好みを伝える発話），Request（システムがユーザーにスロットの問い合わせを行う），Confirm（システムがユーザーにスロット確認を行う）．
３つのパターンについて下記のようにモデルできる．sk，vkはそれぞれスロット型とスロット値に対応する．この導出が書いていないが，おそらくDomain Tracking同様，LSTMでエンコードしたベクトルとオントロジのembeddingのベクトルのmultiply（先程は同一ドメインの類似性だったが，これはスロット型及び値の類似性に該当する）．
計算した３つのタイプのベクトルは足し合わされ，softmaxする（スロット値毎に計算）．

Belief State Update

これまでの時刻tの話であるが，Belief stateの更新（時系列データ）のためRNNを計算する．
BTのためにRNNを実験．Simple RNN，memory cell付きRNN（Henderson 2014），LSTMの３つを実験したところ，memory cell付きが一番性能が良かった．// メモリセル付きRNNのところは元論文を読まないとよくわからなそう
最終的なbelief stateは，ドメインとスロット型・値の確率分布をかけ合わせたもので表される（下式）．1:Tは時刻を表しており，1:Tで時刻1からTまでを意味する．

学習関数

ドメイントラッキングとスロット（値）トラッキングは別々に学習される．各状態におけるbelief stateラベルはドメイン，スロット型，スロット値に分けられる．そのためスロットの学習は特定のドメインに依存しない ➡️ ドメインを超えてスロットの知識を共有できる．ドメイン及びスロットの学習関数は下記（ドメインとスロットが同じ式に含まれていないことがわかる）．

実験データ

AMTでWOZ手法（観光客と観光案内者（Wizard，対話システム）を想定）で集めた．2480シングルドメイン対話で7375のマルチドメイン対話（およそ2-5のドメインにまたがる）．データは，５ドメイン２７スロット６６３スロット値となっている．各対話はゴール，ユーザー・システム発話から構成され，各ターンではbelef stateが存在する．データセットは下記（Multi WOZ）
http://dialogue.mi.eng.cam.ac.uk/index.php/corpus/

またレストラントピックに絞ったWOZ 2.0 dataset（Wen 2017）も利用．1200のシングルトピックによる対話．// 名前が似ていてややこしい
https://mi.eng.cam.ac.uk/˜nm480/woz_2.0.zip

baselineとして比較されたNeural Belief Tracker (NBT)も公開されている．
https://github.com/nmrksic/neural-belief-tracker

実験結果

既存手法NBT（NBT-CNN）に対して，提案モデルBi−LSTM or CNNが比較された．よりリアルに近い対話であるWOZ 2.0でNBTを超えていることがわかる．// CNNといっているのが，ConfirmのエンコードをCNNにした時をいっているのか？よくわからない

マルチドメイン対話での結果は下記（WOZ 2.0の結果より悪くなっているので，このデータセットが難しいことがわかる，これはマルチドメインに起因）．CNNの方がBiLSTMより良い．局所的なポジション情報の抽出が効果的かもしれない，（CNNではsemantic similarities (Yin et al., 2017)で重要性が指摘されている）

結論

マルチドメインにおけるBelief tracking手法を提案．シングルドメインではSOTA達成，セマンティック類似度の導入によるオントロジ依存のパラメタの必要性を軽減させることができた．

コメント

• ショートペーパーであるのである程度仕方ないものの，報告されている結果が分量的に少なく，考察も物足りない（詳しい分析がない）
• ドメイン非依存のスロット知識共有というのはどれぐらい効果がでたのか良くわからない．

次読むべき論文

• Semantic similarities (Yin et al., 2017)
  Comparative Study of CNN and RNN for Natural Language Processing arXivTimes/arXivTimes#197
• Robust dialog state tracking using delexicalised recurrent neural networks and unsupervised adaptation. (Henderson 2014a)
  http://svr-ftp.eng.cam.ac.uk/~sjy/papers/htyo14.pdf

[jojonki]

Podcastでも解説しました．
https://anchor.fm/lnlp-ninja/episodes/ep3-Large-Scale-Multi-Domain-Belief-Tracking-with-Knowledge-Sharing-e239a1/a-a4vf2p