SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization, Laban+, TACL'22

[AkihikoWatanabe]

https://aclanthology.org/2022.tacl-1.10/

[AkihikoWatanabe]

In the summarization domain, a key requirement for summaries is to be factually consistent with the input document. Previous work has found that natural language inference (NLI) models do not perform competitively when applied to inconsistency detection. In this work, we revisit the use of NLI for inconsistency detection, finding that past work suffered from a mismatch in input granularity between NLI datasets (sentence-level), and inconsistency detection (document level). We provide a highly effective and light-weight method called SummaCConv that enables NLI models to be successfully used for this task by segmenting documents into sentence units and aggregating scores between pairs of sentences. We furthermore introduce a new benchmark called SummaC (Summary Consistency) which consists of six large inconsistency detection datasets. On this dataset, SummaCConv obtains state-of-the-art results with a balanced accuracy of 74.4%, a 5% improvement compared with prior work.

Translation (by gpt-3.5-turbo)

• 要約の領域では、要約は入力ドキュメントと事実的に整合していることが重要な要件です。
  以前の研究では、自然言語推論（NLI）モデルを不整合検出に適用した場合、競争力のあるパフォーマンスを発揮しないことがわかっています。
  本研究では、NLIを不整合検出に再評価し、過去の研究ではNLIデータセット（文レベル）と不整合検出（ドキュメントレベル）の入力の粒度の不一致が問題であったことを発見しました。
  私たちは、SummaCConvという非常に効果的で軽量な手法を提供しました。これにより、NLIモデルを文単位にドキュメントを分割し、文のペア間のスコアを集計することで、このタスクに成功裏に使用することができます。
  さらに、私たちはSummaC（Summary Consistency）という新しいベンチマークを導入しました。これは6つの大規模な不整合検出データセットで構成されています。
  このデータセットでは、SummaCConvは74.4%のバランスの取れた正確さを達成し、先行研究と比較して5%の改善を実現し、最先端の結果を得ました。

Summary (by gpt-3.5-turbo)

• 要約の領域では、入力ドキュメントと要約が整合していることが重要です。以前の研究では、自然言語推論（NLI）モデルを不整合検出に適用するとパフォーマンスが低下することがわかりました。本研究では、NLIを不整合検出に再評価し、過去の研究での入力の粒度の不一致が問題であることを発見しました。新しい手法SummaCConvを提案し、NLIモデルを文単位にドキュメントを分割してスコアを集計することで、不整合検出に成功裏に使用できることを示しました。さらに、新しいベンチマークSummaCを導入し、74.4%の正確さを達成し、先行研究と比較して5%の改善を実現しました。