Retrieval-Augmented Generation for Large Language Models: A Survey, Yunfan Gao+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2312.10997v1

Affiliations

• Yunfan Gao, N/A
• Yun Xiong, N/A
• Xinyu Gao, N/A
• Kangxiang Jia, N/A
• Jinliu Pan, N/A
• Yuxi Bi, N/A
• Yi Dai, N/A
• Jiawei Sun, N/A
• Haofen Wang, N/A

Abstract

• Large language models (LLMs) demonstrate powerful capabilities, but theystill face challenges in practical applications, such as hallucinations, slowknowledge updates, and lack of transparency in answers. Retrieval-AugmentedGeneration (RAG) refers to the retrieval of relevant information from externalknowledge bases before answering questions with LLMs. RAG has been demonstratedto significantly enhance answer accuracy, reduce model hallucination,particularly for knowledge-intensive tasks. By citing sources, users can verifythe accuracy of answers and increase trust in model outputs. It alsofacilitates knowledge updates and the introduction of domain-specificknowledge. RAG effectively combines the parameterized knowledge of LLMs withnon-parameterized external knowledge bases, making it one of the most importantmethods for implementing large language models. This paper outlines thedevelopment paradigms of RAG in the era of LLMs, summarizing three paradigms:Naive RAG, Advanced RAG, and Modular RAG. It then provides a summary andorganization of the three main components of RAG: retriever, generator, andaugmentation methods, along with key technologies in each component.Furthermore, it discusses how to evaluate the effectiveness of RAG models,introducing two evaluation methods for RAG, emphasizing key metrics andabilities for evaluation, and presenting the latest automatic evaluationframework. Finally, potential future research directions are introduced fromthree aspects: vertical optimization, horizontal scalability, and the technicalstack and ecosystem of RAG.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は強力な能力を示していますが、実際の応用では幻覚、知識の遅い更新、回答の透明性の欠如などの課題に直面しています。Retrieval-Augmented Generation（RAG）は、LLMsでの質問に答える前に外部の知識ベースから関連情報を取得することを指します。RAGは、回答の正確性を大幅に向上させ、特に知識集約的なタスクにおいてモデルの幻覚を減らすことが実証されています。ソースを引用することで、ユーザーは回答の正確性を検証し、モデルの出力に対する信頼を高めることができます。また、知識の更新やドメイン固有の知識の導入を容易にします。RAGは、LLMsのパラメータ化された知識と非パラメータ化された外部知識ベースを効果的に組み合わせることで、大規模言語モデルを実装するための最も重要な手法の1つです。本論文では、LLMsの時代におけるRAGの開発パラダイムを概説し、Naive RAG、Advanced RAG、Modular RAGの3つのパラダイムをまとめています。さらに、RAGの3つの主要なコンポーネントであるリトリーバー、ジェネレーター、および拡張方法の概要と組織化を提供し、各コンポーネントの主要な技術も紹介しています。さらに、RAGモデルの効果を評価する方法について議論し、RAGのための2つの評価方法を紹介し、評価のための主要な指標と能力を強調し、最新の自動評価フレームワークを提示しています。最後に、垂直最適化、水平スケーラビリティ、およびRAGの技術スタックとエコシステムの3つの側面から、将来の研究方向を紹介しています。

Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）には課題がありますが、Retrieval-Augmented Generation（RAG）はこれを解決する手法です。RAGは外部の知識ベースから情報を取得し、回答の正確性を向上させます。ソースの引用により、回答の検証とモデルの信頼性向上が可能です。また、RAGは知識の更新やドメイン固有の知識の導入を容易にします。本論文ではRAGの開発パラダイムとそのコンポーネントについて説明し、評価方法や将来の研究方向についても議論しています。