Language Model is All You Need: Natural Language Understanding as Question Answering

[tm4roon]

Language Model is All You Need: Natural Language Understanding as Question Answering

事前学習した言語モデルの転移学習に関する研究。従来の転移学習では、source domainをtarget domainに対応させるように調整を行っていた(下図a)。例えば、BERTで単語穴埋め + 次文予測を行ったのちに、テキスト分類タスクに調整する、など。本研究では、target domainをsource domainに対応するように変換を行う方法を提案している(下図b)。具体的にこの論文で対象としているタスクは言語理解タスク(BERT)をsource domainとし、質問応答タスクをtarget domainとしている。質問応答タスクをBERTの学習に適した形式に変換している。結果として、target domain → source domainの変換を行ったのちに学習した方が、source domain → target domainの学習よりに比べて大幅に性能を改善できることを示した。

Question Answering for Natural Language Understanding

質問応答タスクを次の2つの方法で言語理解タスクの形式に変換する。

• Slot Detection
• Intent Detection

Slot Detection

質問応答タスク(QA)では文中に含まれる特定の情報を抽出するのに対し、言語理解タスク(NLU)では、
「〇〇に関する言及はどこですか？」のような質問文を入力に追加して、〇〇の部分に関する語句を推定する。

• QA:
  • "show cheap Italian restaurant"
  • {"cuisine: "Italian", "price_range": "cheap", "area": None}
• NLU:
  • Input: "show cheap Italian restaurant" + "what cuisine was mentioned?"
  • Output: "Italian"

Intent Detection

上記と同様に、"Is the intent asking about ____?"のようなYES/NOの質問を追加して発話意図を推定させるタスクに置き換える。

Results

文献情報

• 著者: Mahdi Namazifar, Alexandros Papangelis, Gokhan Tur, Dilek Hakkani-Tür
• リンク: https://arxiv.org/abs/2011.03023
• 学会: arXiv