From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting, Griffin Adams+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2309.04269

Affiliations

• Griffin Adams, N/A
• Alexander Fabbri, N/A
• Faisal Ladhak, N/A
• Eric Lehman, N/A
• Noémie Elhadad, N/A

Abstract

• Selecting the right'' amount of information to include in a summary is adifficult task. A good summary should be detailed and entity-centric withoutbeing overly dense and hard to follow. To better understand this tradeoff, wesolicit increasingly dense GPT-4 summaries with what we refer to as a Chainof Density'' (CoD) prompt. Specifically, GPT-4 generates an initialentity-sparse summary before iteratively incorporating missing salient entitieswithout increasing the length. Summaries generated by CoD are more abstractive,exhibit more fusion, and have less of a lead bias than GPT-4 summariesgenerated by a vanilla prompt. We conduct a human preference study on 100 CNNDailyMail articles and find that that humans prefer GPT-4 summaries that aremore dense than those generated by a vanilla prompt and almost as dense ashuman written summaries. Qualitative analysis supports the notion that thereexists a tradeoff between informativeness and readability. 500 annotated CoDsummaries, as well as an extra 5,000 unannotated summaries, are freelyavailable on HuggingFace(https://huggingface.co/datasets/griffin/chain_of_density).

Translation (by gpt-3.5-turbo)

• 「適切な」情報の量を要約に含めることは困難な課題です。良い要約は詳細でエンティティ中心的でありながら、過度に密集して理解しにくくなることはありません。このトレードオフをよりよく理解するために、私たちは「密度の連鎖」（CoD）プロンプトと呼ばれるもので、ますます密集したGPT-4の要約を求めます。具体的には、GPT-4は長さを増やさずに欠落している重要なエンティティを反復的に組み込む前に、初期のエンティティスパースな要約を生成します。CoDによって生成された要約はより抽象的であり、より多くの融合を示し、バニラプロンプトによって生成されたGPT-4の要約よりもリードバイアスが少ないです。私たちは100のCNN DailyMail記事で人間の好みの調査を行い、バニラプロンプトによって生成された要約よりも密度の高いGPT-4の要約が人間に好まれ、ほぼ人間が書いた要約と同じくらい密度があることを発見しました。質的分析は、情報量と読みやすさの間にトレードオフが存在するという考えを支持しています。500の注釈付きCoD要約とさらに5,000の注釈なし要約は、HuggingFace（https://huggingface.co/datasets/griffin/chain_of_density）で無料で利用できます。

Summary (by gpt-3.5-turbo)

• 要約は詳細でエンティティ中心的でありながら、理解しやすくすることが困難です。この課題を解決するために、私たちは「密度の連鎖」（CoD）プロンプトを使用して、GPT-4の要約を生成します。CoDによって生成された要約は抽象的であり、リードバイアスが少なく、人間に好まれます。また、情報量と読みやすさのトレードオフが存在することも示されました。CoD要約は無料で利用できます。

[AkihikoWatanabe]

論文中のprompt例。InformativeなEntityのCoverageを増やすようにイテレーションを回し、各Entityに関する情報（前ステップで不足している情報は補足しながら）を具体的に記述するように要約を生成する。

[AkihikoWatanabe]

人間が好むEntityのDensityにはある程度の閾値がある模様（でもこれは人や用途によって閾値が違うようねとは思う）。

人手評価とGPT4による5-scale の評価を実施している。定性的な考察としては、主題と直接的に関係ないEntityの詳細を述べるようになっても人間には好まれない（右例）ことが述べられている。