The Power of Noise: Redefining Retrieval for RAG Systems, Florin Cuconasu+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.14887

Affiliations

• Florin Cuconasu, N/A
• Giovanni Trappolini, N/A
• Federico Siciliano, N/A
• Simone Filice, N/A
• Cesare Campagnano, N/A
• Yoelle Maarek, N/A
• Nicola Tonellotto, N/A
• Fabrizio Silvestri, N/A

Abstract

• Retrieval-Augmented Generation (RAG) systems represent a significantadvancement over traditional Large Language Models (LLMs). RAG systems enhancetheir generation ability by incorporating external data retrieved through anInformation Retrieval (IR) phase, overcoming the limitations of standard LLMs,which are restricted to their pre-trained knowledge and limited context window.Most research in this area has predominantly concentrated on the generativeaspect of LLMs within RAG systems. Our study fills this gap by thoroughly andcritically analyzing the influence of IR components on RAG systems. This paperanalyzes which characteristics a retriever should possess for an effectiveRAG's prompt formulation, focusing on the type of documents that should beretrieved. We evaluate various elements, such as the relevance of the documentsto the prompt, their position, and the number included in the context. Ourfindings reveal, among other insights, that including irrelevant documents canunexpectedly enhance performance by more than 30% in accuracy, contradictingour initial assumption of diminished quality. These results underscore the needfor developing specialized strategies to integrate retrieval with languagegeneration models, thereby laying the groundwork for future research in thisfield.

Translation (by gpt-3.5-turbo)

• Retrieval-Augmented Generation（RAG）システムは、従来の大規模言語モデル（LLMs）よりも大幅な進歩を示しています。RAGシステムは、情報検索（IR）フェーズを介して取得した外部データを組み込むことで生成能力を向上させ、事前学習された知識と限られたコンテキストウィンドウに制限される従来のLLMsの制約を克服しています。この分野のほとんどの研究は、RAGシステム内のLLMsの生成側面に主に集中してきました。本研究は、IRコンポーネントがRAGシステムに与える影響を徹底的かつ批判的に分析することで、このギャップを埋めるものです。本論文では、効果的なRAGのプロンプトの形成においてリトリーバーがどのような特性を持つべきかを分析し、取得すべきドキュメントのタイプに焦点を当てています。プロンプトに関連するドキュメントの適合性、位置、およびコンテキストに含まれる数など、さまざまな要素を評価しています。その結果、関連性のないドキュメントを含めることで、予想外に精度が30％以上向上することが明らかになりました。これは、初期の仮定とは異なり、品質が低下するという考えに反するものです。これらの結果は、リトリーバルと言語生成モデルを統合するための専門戦略の開発の必要性を強調し、この分野における将来の研究の基盤を築いています。

Summary (by gpt-3.5-turbo)

• RAGシステムは、LLMsよりも大幅な進歩を遂げており、IRフェーズを介して外部データを取得することで生成能力を向上させています。本研究では、RAGシステムにおけるIRコンポーネントの影響を詳細に分析し、リトリーバーの特性や取得すべきドキュメントのタイプに焦点を当てました。関連性のないドキュメントを含めることで精度が向上することが示され、リトリーバルと言語生成モデルの統合の重要性が強調されました。

[AkihikoWatanabe]

Relevantな情報はクエリの近くに配置すべきで、残りのコンテキストをrelevantな情報で埋めるのではなく、ノイズで埋めたほうがRAGの回答が良くなる、という話らしい