Graph Neural Prompting with Large Language Models, Yijun Tian+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2309.15427

Affiliations

• Yijun Tian, N/A
• Huan Song, N/A
• Zichen Wang, N/A
• Haozhu Wang, N/A
• Ziqing Hu, N/A
• Fang Wang, N/A
• Nitesh V. Chawla, N/A
• Panpan Xu, N/A

Abstract

• Large Language Models (LLMs) have shown remarkable generalization capabilitywith exceptional performance in various language modeling tasks. However, theystill exhibit inherent limitations in precisely capturing and returninggrounded knowledge. While existing work has explored utilizing knowledge graphsto enhance language modeling via joint training and customized modelarchitectures, applying this to LLMs is problematic owing to their large numberof parameters and high computational cost. In addition, how to leverage thepre-trained LLMs and avoid training a customized model from scratch remains anopen question. In this work, we propose Graph Neural Prompting (GNP), a novelplug-and-play method to assist pre-trained LLMs in learning beneficialknowledge from KGs. GNP encompasses various designs, including a standard graphneural network encoder, a cross-modality pooling module, a domain projector,and a self-supervised link prediction objective. Extensive experiments onmultiple datasets demonstrate the superiority of GNP on both commonsense andbiomedical reasoning tasks across different LLM sizes and settings.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、さまざまな言語モデリングタスクで優れた汎化能力を示していますが、具体的な知識の正確な捉え方や返し方にはまだ限界があります。
  既存の研究では、知識グラフを利用して言語モデリングを強化するための共同トレーニングやカスタマイズされたモデルアーキテクチャの探求が行われていますが、LLMsに適用することは、パラメータの数が多く、計算コストが高いため問題があります。
  さらに、事前学習されたLLMsを活用し、ゼロからカスタマイズされたモデルをトレーニングすることを回避する方法は、まだ解決されていない問題です。
  本研究では、事前学習されたLLMsが知識グラフから有益な知識を学ぶのを支援するための新しいプラグアンドプレイの手法であるGraph Neural Prompting（GNP）を提案します。
  GNPには、標準的なグラフニューラルネットワークエンコーダ、クロスモダリティプーリングモジュール、ドメインプロジェクタ、および自己教師ありリンク予測目的など、さまざまな設計が含まれています。
  複数のデータセットでの徹底的な実験により、GNPの優位性が、異なるLLMのサイズと設定において、常識的な推論タスクとバイオメディカル推論タスクの両方で示されました。

Summary (by gpt-3.5-turbo)

• 本研究では、大規模言語モデル（LLMs）を知識グラフと組み合わせるための新しい手法であるGraph Neural Prompting（GNP）を提案しています。
  GNPは、標準的なグラフニューラルネットワークエンコーダやクロスモダリティプーリングモジュールなどの要素から構成されており、異なるLLMのサイズや設定において、常識的な推論タスクやバイオメディカル推論タスクで優れた性能を示すことが実験によって示されました。

[AkihikoWatanabe]

以下elvis氏のツイートの意訳

事前学習されたLLMがKGから有益な知識を学習することを支援する手法を提案。

元ツイート: https://arxiv.org/abs/2309.15427

[AkihikoWatanabe]

しっかり論文を読んでいないが、freezeしたLLMがあった時に、KGから求めたGraph Neural Promptを元のテキストと組み合わせて、新たなLLMへの入力を生成し利用する手法な模様。
Graph Neural Promptingでは、Multiple choice QAが入力された時に、その問題文や選択肢に含まれるエンティティから、KGのサブグラフを抽出し、そこから関連性のある事実や構造情報をエンコードし、Graph Neural Promptを獲得する。そのために、GNNに基づいたアーキテクチャに、いくつかの工夫を施してエンコードをする模様。