Answers Unite! Unsupervised Metrics for Reinforced Summarization Models, Scialom+, EMNLP-IJCNLP'19

[AkihikoWatanabe]

https://aclanthology.org/D19-1320/

[AkihikoWatanabe]

Abstractive summarization approaches based on Reinforcement Learning (RL) have recently been proposed to overcome classical likelihood maximization. RL enables to consider complex, possibly non differentiable, metrics that globally assess the quality and relevance of the generated outputs. ROUGE, the most used summarization metric, is known to suffer from bias towards lexical similarity as well as from sub-optimal accounting for fluency and readability of the generated abstracts. We thus explore and propose alternative evaluation measures: the reported human-evaluation analysis shows that the proposed metrics, based on Question Answering, favorably compare to ROUGE – with the additional property of not requiring reference summaries. Training a RL-based model on these metrics leads to improvements (both in terms of human or automated metrics) over current approaches that use ROUGE as reward.

Translation (by gpt-3.5-turbo)

• 最近、再強化学習（RL）に基づく抽象的要約手法が提案され、従来の尤度最大化を克服するために使用されています。RLは、生成された出力の品質と関連性を総合的に評価するために、複雑で微分不可能なメトリクスを考慮することができます。最も使用されている要約メトリクスであるROUGEは、語彙の類似性に対するバイアスや生成された要約の流暢さや読みやすさに対する最適な考慮が不十分であるとされています。そのため、私たちは代替的な評価尺度を探求し、提案します。報告された人間評価の分析によると、質問応答に基づく提案されたメトリクスはROUGEと比較して有利であり、参照要約を必要としないという追加の特性も持っています。これらのメトリクスを使用してRLベースのモデルをトレーニングすることは、ROUGEを報酬として使用する現在の手法に比べて（人間評価や自動評価メトリクスの両方で）改善をもたらします。

Summary (by gpt-3.5-turbo)

• 最近、再強化学習（RL）を使用した抽象的要約手法が提案されており、従来の尤度最大化を克服するために使用されています。この手法は、複雑で微分不可能なメトリクスを考慮することで、生成された要約の品質と関連性を総合的に評価することができます。ROUGEという従来の要約メトリクスにはいくつかの問題があり、代替的な評価尺度を探求する必要があります。報告された人間評価の分析によると、質問応答に基づく提案されたメトリクスはROUGEよりも有利であり、参照要約を必要としないという特徴も持っています。これらのメトリクスを使用してRLベースのモデルをトレーニングすることは、現在の手法に比べて改善をもたらします。

[AkihikoWatanabe]

SummaQA