RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation, Fangyuan Xu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.04408

Affiliations

• Fangyuan Xu, N/A
• Weijia Shi, N/A
• Eunsol Choi, N/A

Abstract

• Retrieving documents and prepending them in-context at inference timeimproves performance of language model (LMs) on a wide range of tasks. However,these documents, often spanning hundreds of words, make inference substantiallymore expensive. We propose compressing the retrieved documents into textualsummaries prior to in-context integration. This not only reduces thecomputational costs but also relieves the burden of LMs to identify relevantinformation in long retrieved documents. We present two compressors -- anextractive compressor which selects useful sentences from retrieved documentsand an abstractive compressor which generates summaries by synthesizinginformation from multiple documents. Both compressors are trained to improveLMs' performance on end tasks when the generated summaries are prepended to theLMs' input, while keeping the summary concise.If the retrieved documents areirrelevant to the input or offer no additional information to LM, ourcompressor can return an empty string, implementing selective augmentation.Weevaluate our approach on language modeling task and open domain questionanswering task. We achieve a compression rate of as low as 6% with minimal lossin performance for both tasks, significantly outperforming the off-the-shelfsummarization models. We show that our compressors trained for one LM cantransfer to other LMs on the language modeling task and provide summarieslargely faithful to the retrieved documents.

Translation (by gpt-3.5-turbo)

• 推論時にドキュメントを取得し、文脈に組み込むことで、言語モデル（LMs）の性能がさまざまなタスクで向上します。しかし、これらのドキュメントは通常、数百語にわたるため、推論を著しく遅くします。私たちは、取得したドキュメントをテキストの要約に圧縮することを提案します。これにより、計算コストを削減するだけでなく、長いドキュメント内の関連情報を特定する負担をLMsから軽減することができます。私たちは、2つの圧縮器を提案します。1つは、取得したドキュメントから有用な文を選択する抽出型の圧縮器であり、もう1つは、複数のドキュメントから情報を合成して要約を生成する抽象型の圧縮器です。両方の圧縮器は、生成された要約をLMsの入力に先行して追加することで、エンドタスクでのLMsの性能を向上させるために訓練されます。また、要約を簡潔に保ちながら、入力と関連性のないドキュメントやLMに追加情報を提供しないドキュメントの場合、圧縮器は空の文字列を返すことができます。私たちは、言語モデリングタスクとオープンドメインの質問応答タスクでアプローチを評価しました。両方のタスクで、パフォーマンスのほとんど損失を伴わずに、圧縮率が6％まで達成され、市販の要約モデルを大幅に上回りました。また、言語モデリングタスクで訓練された圧縮器が他のLMsに転移可能であり、取得したドキュメントにほぼ忠実な要約を提供することを示しました。

Summary (by gpt-3.5-turbo)

• ドキュメントの要約を生成することで、言語モデルの性能を向上させる手法を提案する。抽出型の圧縮器と抽象型の圧縮器を使用し、LMsの入力に要約を追加して訓練する。実験結果では、圧縮率が6％まで達成され、市販の要約モデルを上回る性能を示した。また、訓練された圧縮器は他のLMsにも転移可能であることが示された。

[AkihikoWatanabe]

Retrieval Augmentationをする際に、元文書群を要約して圧縮することで、性能低下を抑えながら最大6%程度まで元文書群を圧縮できた、とのこと。

[AkihikoWatanabe]

元ツイート: https://x.com/omarsar0/status/1711384213092479130?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

Retrieval Augmentationを導入する際のコスト削減に有用そう