PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents, Simeng Sun+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2305.14564

Affiliations

• Simeng Sun, N/A
• Yang Liu, N/A
• Shuohang Wang, N/A
• Chenguang Zhu, N/A
• Mohit Iyyer, N/A

Abstract

• Strategies such as chain-of-thought prompting improve the performance oflarge language models (LLMs) on complex reasoning tasks by decomposing inputexamples into intermediate steps. However, it remains unclear how to apply suchmethods to reason over long input documents, in which both the decompositionand the output of each intermediate step are non-trivial to obtain. In thiswork, we propose PEARL, a prompting framework to improve reasoning over longdocuments, which consists of three stages: action mining, plan formulation, andplan execution. More specifically, given a question about a long document,PEARL decomposes the question into a sequence of actions (e.g., SUMMARIZE,FIND_EVENT, FIND_RELATION) and then executes them over the document to obtainthe answer. Each stage of PEARL is implemented via zero-shot or few-shotprompting of LLMs (in our work, GPT-4) with minimal human input. We evaluatePEARL on a challenging subset of the QuALITY dataset, which contains questionsthat require complex reasoning over long narrative texts. PEARL outperformszero-shot and chain-of-thought prompting on this dataset, and ablationexperiments show that each stage of PEARL is critical to its performance.Overall, PEARL is a first step towards leveraging LLMs to reason over longdocuments.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）のchain-of-thought promptingなどの戦略は、入力例を中間ステップに分解することで、複雑な推論タスクのパフォーマンスを向上させる。しかし、長い入力ドキュメントに対してこれらの方法を適用する方法はまだ明確ではなく、分解と各中間ステップの出力を取得することが非常に困難である。本研究では、長いドキュメント上の推論を改善するためのプロンプティングフレームワークであるPEARLを提案する。PEARLは、アクションマイニング、プランの策定、プランの実行の3つのステージで構成されており、長いドキュメントに関する質問を受け取り、それをアクションのシーケンス（例：SUMMARIZE、FIND_EVENT、FIND_RELATIONなど）に分解し、それらをドキュメント上で実行して答えを得る。PEARLの各ステージは、最小限の人間の入力でゼロショットまたはフューショットのLLMs（本研究ではGPT-4）によるプロンプティングによって実装される。我々は、長い物語的テキストに対する複雑な推論を必要とする質問を含むQuALITYデータセットの難しいサブセットでPEARLを評価した。PEARLは、このデータセットでゼロショットおよびchain-of-thought promptingを上回り、各ステージがPEARLのパフォーマンスに重要であることを示す実験結果が得られた。全体的に、PEARLはLLMsを活用して長いドキュメント上の推論を行うための第一歩である。

Summary (by gpt-3.5-turbo)

• 本研究では、長いドキュメント上の推論を改善するためのPEARLというプロンプティングフレームワークを提案している。PEARLは、アクションマイニング、プランの策定、プランの実行の3つのステージで構成されており、最小限の人間の入力でゼロショットまたはフューショットのLLMsによるプロンプティングによって実装される。PEARLは、QuALITYデータセットの難しいサブセットで評価され、ゼロショットおよびchain-of-thought promptingを上回る性能を発揮した。PEARLは、LLMsを活用して長いドキュメント上の推論を行うための第一歩である。