chrF: character n-gram F-score for automatic MT evaluation, Mono Popovic, WMT'15

[AkihikoWatanabe]

https://aclanthology.org/W15-3049/

[AkihikoWatanabe]

We propose the use of character n-gram F-score for automatic evaluation of machine translation output. Character ngrams have already been used as a part of more complex metrics, but their individual potential has not been investigated yet. We report system-level correlations with human rankings for 6-gram F1-score (CHRF) on the WMT12, WMT13 and WMT14 data as well as segment-level correlation for 6-gram F1 (CHRF) and F3-scores (CHRF3) on WMT14 data for all available target languages. The results are very promising, especially for the CHRF3 score – for translation from English, this variant showed the highest segment-level correlations outperforming even the best metrics on the WMT14 shared evaluation task.

Translation (by gpt-3.5-turbo)

• 私たちは、機械翻訳の出力の自動評価に文字n-gram Fスコアの使用を提案します。文字n-gramは、より複雑なメトリックの一部としてすでに使用されていますが、その個別の潜在能力はまだ調査されていません。私たちは、WMT12、WMT13、WMT14のデータにおける6-gram F1スコア（CHRF）のシステムレベルの人間のランキングとの相関関係、およびWMT14のデータにおける6-gram F1スコア（CHRF）とF3スコア（CHRF3）のセグメントレベルの相関関係を報告します。利用可能なすべてのターゲット言語に対して。結果は非常に有望であり、特にCHRF3スコアについては非常に高いセグメントレベルの相関関係を示し、WMT14の共有評価タスクでも最高のメトリックを上回りました。

Summary (by gpt-3.5-turbo)

• 私たちは、機械翻訳の評価に文字n-gram Fスコアを使用することを提案します。私たちは、このメトリックがシステムレベルとセグメントレベルで人間のランキングと相関しており、特にセグメントレベルでの相関が非常に高いことを報告しました。この提案は非常に有望であり、WMT14の共有評価タスクでも最高のメトリックを上回りました。

[AkihikoWatanabe]

character-basedなn-gram overlapをreferenceとシステムで計算する手法