Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Extending Machine Translation Evaluation Metrics with Lexical Cohesion to Document Level, Wong+, EMNLP'12 #968

Open
AkihikoWatanabe opened this issue Aug 13, 2023 · 2 comments

Comments

@AkihikoWatanabe
Copy link
Owner

https://aclanthology.org/D12-1097/

@AkihikoWatanabe
Copy link
Owner Author

AkihikoWatanabe commented Aug 13, 2023

This paper proposes the utilization of lexical cohesion to facilitate evaluation of machine translation at the document level. As a linguistic means to achieve text coherence, lexical cohesion ties sentences together into a meaningfully interwoven structure through words with the same or related meaning. A comparison between machine and human translation is conducted to illustrate one of their critical distinctions that human translators tend to use more cohesion devices than machine. Various ways to apply this feature to evaluate machine translated documents are presented, including one without reliance on reference translation. Experimental results show that incorporating this feature into sentence-level evaluation metrics can enhance their correlation with human judgements.

Translation (by gpt-3.5-turbo)

  • この論文では、文書レベルでの機械翻訳の評価を容易にするために、語彙的な結束を利用することを提案しています。テキストの結束性を実現するための言語的手段として、語彙的な結束は同じまたは関連する意味を持つ単語を通じて文を意味のある組み合わせ構造に結びつけます。機械翻訳と人間の翻訳の比較を行い、人間の翻訳者が機械よりも結束デバイスをより多く使用するという重要な違いを示しています。参照翻訳に頼らない方法を含め、機械翻訳された文書を評価するためにこの特徴を適用するさまざまな方法を提案しています。実験結果は、この特徴を文レベルの評価尺度に組み込むことで、人間の判断との相関を向上させることが示されています。

Summary (by gpt-3.5-turbo)

  • この論文では、語彙的な結束を利用して文書レベルの機械翻訳の評価を容易にする方法を提案しています。語彙的な結束は、同じ意味を持つ単語を使って文を結びつけることで、テキストの結束性を実現します。実験結果は、この特徴を評価尺度に組み込むことで、人間の判断との相関を向上させることを示しています。

@AkihikoWatanabe
Copy link
Owner Author

RC-LC

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

1 participant