Do Multilingual Language Models Think Better in English?, Julen Etxaniz+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2308.01223

Affiliations

• Julen Etxaniz, N/A
• Gorka Azkune, N/A
• Aitor Soroa, N/A
• Oier Lopez de Lacalle, N/A
• Mikel Artetxe, N/A

Abstract

• Translate-test is a popular technique to improve the performance ofmultilingual language models. This approach works by translating the input intoEnglish using an external machine translation system, and running inferenceover the translated input. However, these improvements can be attributed to theuse of a separate translation system, which is typically trained on largeamounts of parallel data not seen by the language model. In this work, weintroduce a new approach called self-translate, which overcomes the need of anexternal translation system by leveraging the few-shot translation capabilitiesof multilingual language models. Experiments over 5 tasks show thatself-translate consistently outperforms direct inference, demonstrating thatlanguage models are unable to leverage their full multilingual potential whenprompted in non-English languages. Our code is available athttps://github.com/juletx/self-translate.

Translation (by gpt-3.5-turbo)

• Translate-testは、多言語の言語モデルの性能を向上させるための人気のある手法です。この手法は、外部の機械翻訳システムを使用して入力を英語に翻訳し、翻訳された入力で推論を行うことで機能します。しかし、これらの改善は、通常、言語モデルが見たことのない大量の平行データで訓練された別個の翻訳システムの使用に帰因することができます。本研究では、マルチリンガル言語モデルの少数ショット翻訳能力を活用することで、外部の翻訳システムの必要性を克服する新しいアプローチであるself-translateを紹介します。5つのタスクでの実験結果は、self-translateが直接推論を上回る一貫した性能を示し、非英語の言語でプロンプトされた場合、言語モデルがその完全なマルチリンガルの潜在能力を活用できないことを示しています。私たちのコードはhttps://github.com/juletx/self-translateで利用可能です。

Summary (by gpt-3.5-turbo)

• self-translateは、マルチリンガル言語モデルの少数ショット翻訳能力を活用する新しいアプローチであり、外部の翻訳システムの必要性を克服する。実験結果は、self-translateが直接推論を上回る性能を示し、非英語の言語でプロンプトされた場合にも有効であることを示している。コードはhttps://github.com/juletx/self-translateで利用可能。

[AkihikoWatanabe]

参考: https://twitter.com/imai_eruel/status/1687735268311511040?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]