SueNes: A Weakly Supervised Approach to Evaluating Single-Document Summarization via Negative Sampling, Bao+, NAACL'22

[AkihikoWatanabe]

https://aclanthology.org/2022.naacl-main.175/

[AkihikoWatanabe]

Canonical automatic summary evaluation metrics, such as ROUGE, focus on lexical similarity which cannot well capture semantics nor linguistic quality and require a reference summary which is costly to obtain. Recently, there have been a growing number of efforts to alleviate either or both of the two drawbacks. In this paper, we present a proof-of-concept study to a weakly supervised summary evaluation approach without the presence of reference summaries. Massive data in existing summarization datasets are transformed for training by pairing documents with corrupted reference summaries. In cross-domain tests, our strategy outperforms baselines with promising improvements, and show a great advantage in gauging linguistic qualities over all metrics.

Translation (by gpt-3.5-turbo)

• 従来の自動要約評価メトリック（ROUGEなど）は、語彙の類似性に焦点を当てており、意味や言語的な品質を十分に捉えることができず、参照要約が必要であるためコストがかかる。最近では、これらの欠点のいずれかまたは両方を軽減するための取り組みが増えている。本論文では、参照要約が存在しない弱教師あり要約評価手法の概念実証研究を提案する。既存の要約データセットの大量のデータを、文書と破損した参照要約とのペアでトレーニングするために変換する。ドメイン間のテストでは、我々の戦略はベースラインを上回り、有望な改善を示し、すべてのメトリックにおいて言語的な品質を評価する上で大きな利点を示している。

Summary (by gpt-3.5-turbo)

• 従来の自動要約評価メトリックは語彙の類似性に焦点を当てており、意味や言語的な品質を十分に捉えることができない。参照要約が必要であるためコストがかかる。本研究では、参照要約が存在しない弱教師あり要約評価手法を提案する。既存の要約データセットを文書と破損した参照要約のペアに変換してトレーニングする。ドメイン間のテストでは、提案手法がベースラインを上回り、言語的な品質を評価する上で大きな利点を示した。