RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval, Parth Sarthi+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.18059

Affiliations

• Parth Sarthi, N/A
• Salman Abdullah, N/A
• Aditi Tuli, N/A
• Shubh Khanna, N/A
• Anna Goldie, N/A
• Christopher D. Manning, N/A

Abstract

• Retrieval-augmented language models can better adapt to changes in worldstate and incorporate long-tail knowledge. However, most existing methodsretrieve only short contiguous chunks from a retrieval corpus, limitingholistic understanding of the overall document context. We introduce the novelapproach of recursively embedding, clustering, and summarizing chunks of text,constructing a tree with differing levels of summarization from the bottom up.At inference time, our RAPTOR model retrieves from this tree, integratinginformation across lengthy documents at different levels of abstraction.Controlled experiments show that retrieval with recursive summaries offerssignificant improvements over traditional retrieval-augmented LMs on severaltasks. On question-answering tasks that involve complex, multi-step reasoning,we show state-of-the-art results; for example, by coupling RAPTOR retrievalwith the use of GPT-4, we can improve the best performance on the QuALITYbenchmark by 20% in absolute accuracy.

Translation (by gpt-3.5-turbo)

• 検索補完言語モデルは、世界の状態の変化により適応し、ロングテールの知識を組み込むことができます。
  しかし、既存のほとんどの手法は、検索コーパスから短い連続したチャンクのみを取得し、全体的な文脈の包括的な理解を制限しています。
  私たちは、テキストのチャンクを再帰的に埋め込み、クラスタリング、要約する新しいアプローチを導入し、下から上に要約のレベルが異なるツリーを構築します。
  推論時に、私たちのRAPTORモデルはこのツリーから取得し、異なる抽象化レベルで長いドキュメント全体の情報を統合します。
  制御された実験では、再帰的な要約を使用した検索は、いくつかのタスクで従来の検索補完言語モデルよりも大幅な改善を提供します。
  複雑な多段階の推論を必要とする質問応答タスクでは、QuALITYベンチマークの最高性能を20%向上させることができることを示します。例えば、RAPTOR検索をGPT-4と組み合わせることで、絶対精度で20%の改善が見られます。

Summary (by gpt-3.5-turbo)

• 検索補完言語モデルは、ロングテールの知識を組み込むことができますが、既存の手法では文脈の理解が制限されています。そこで、私たちは再帰的な要約を使用してテキストをクラスタリングし、異なる抽象化レベルで情報を統合する新しいアプローチを提案します。制御された実験では、このアプローチが従来の手法よりも大幅な改善を提供し、質問応答タスクでは最高性能を20%向上させることができることを示しました。