Improving Factuality of Abstractive Summarization without Sacrificing Summary Quality, ACL'23

[AkihikoWatanabe]

https://virtual2023.aclweb.org/paper_P2232.html

[AkihikoWatanabe]

Improving factual consistency of abstractive summarization has been a widely studied topic. However, most of the prior works on training factuality-aware models have ignored the negative effect it has on summary quality. We propose {pasted macro `MODEL'}name (i.e. Effective Factual Summarization), a candidate summary generation and ranking technique to improve summary factuality without sacrificing quality. We show that using a contrastive learning framework with our refined candidate summaries leads to significant gains on both factuality and similarity-based metrics. Specifically, we propose a ranking strategy in which we effectively combine two metrics, thereby preventing any conflict during training. Models trained using our approach show up to 6 points of absolute improvement over the base model with respect to FactCC on XSUM and 11 points on CNN/DM, without negatively affecting either similarity-based metrics or absractiveness.

Translation (by gpt-3.5-turbo)

• 抽象的な要約の事実の一貫性を向上させることは、広く研究されてきたトピックです。しかし、事実性を意識したモデルのトレーニングに関する以前の研究のほとんどは、要約の品質に与える負の影響を無視してきました。私たちは「Effective Factual Summarization」という候補要約生成およびランキング技術を提案します。これにより、要約の事実性を向上させることができますが、品質を犠牲にすることはありません。私たちは、洗練された候補要約を用いた対照的な学習フレームワークを使用することで、事実性と類似性に基づく指標の両方で大幅な改善が見られることを示します。具体的には、トレーニング中に競合を防ぐために、2つの指標を効果的に組み合わせるランキング戦略を提案します。私たちのアプローチでトレーニングされたモデルは、XSUMのFactCCにおいてベースモデルに比べて最大6ポイントの絶対的な改善を示し、CNN/DMでは11ポイントの改善が見られます。また、類似性に基づく指標や要約の抽象性には負の影響を与えません。

Summary (by gpt-3.5-turbo)

• 事実性を意識した要約の品質向上に関する研究はあるが、品質を犠牲にすることなく事実性を向上させる手法がほとんどない。本研究では「Effective Factual Summarization」という技術を提案し、事実性と類似性の指標の両方で大幅な改善を示すことを示した。トレーニング中に競合を防ぐために2つの指標を組み合わせるランキング戦略を提案し、XSUMのFactCCでは最大6ポイント、CNN/DMでは11ポイントの改善が見られた。また、類似性や要約の抽象性には負の影響を与えない。