日本語マルチタスク言語理解ベンチマーク Japanese Massive Multitask Language Understanding Benchmark
JMMLUは、マルチタスク言語理解ベンチマークMMLU (Paper, Github)の一部を日本語に翻訳した問題(翻訳問題)、および、日本独自の文化的背景に基づく問題(日本問題)によって構成される4択問題である。大規模言語モデルの日本語能力の評価に用いられることを想定している。
翻訳問題は、MMLUの57タスク(科目)のそれぞれから最大150問を選択し、まず日本語に機械翻訳した。次に、翻訳者が機械翻訳結果を確認することによって、翻訳しにくい、もしくは、日本の文化と無関係または矛盾する問題やタスクを削除した。また、残った問題について、自然な日本語になるように修正した。
日本問題は、公民、日本史などの学校教科に基づく問題であり、日本人によって人手で作成されている。
フォーマットは、MMLUの形式と同じCSVで、
問題, 選択肢A, 選択肢B, 選択肢C, 選択肢D, 正解
である。
JMMLUは以下の56タスク(科目)、7,536問からなる。そのうち、CC BY-SA 4.0 ライセンスの53タスク、7,097問は JMMLUフォルダに、CC BY-NC-ND 4.0 ライセンスの3タスク 439問はJMMLU_NC_NDフォルダにある。
| タスク名 | 英語タスク名 | 件数 |
|---|---|---|
| 専門医学 | professional_medicine | 150 |
| 専門心理学 | professional_psychology | 150 |
| 専門会計 | professional_accounting | 150 |
| 哲学 | philosophy | 150 |
| 雑学 | miscellaneous | 150 |
| 医学遺伝学 | medical_genetics | 99 |
| 形式論理 | formal_logic | 125 |
| 先史学 | prehistory | 150 |
| 天文学 | astronomy | 148 |
| 熟語 | japanese_idiom | 150 |
| 世界宗教 | world_religions | 147 |
| 世界事実 | global_facts | 97 |
| 世界史 | world_history | 150 |
| 社会学 | sociology | 150 |
| 栄養学 | nutrition | 149 |
| 日本史 | japanese_history | 150 |
| 日本地理 | japanese_geography | 139 |
| 人間の老化 | human_aging | 150 |
| 論理学 | logical_fallacies | 150 |
| 倫理的議論 | moral_disputes | 148 |
| 臨床知識 | clinical_knowledge | 150 |
| 経営学 | management | 102 |
| 解剖学 | anatomy | 132 |
| 計量経済学 | econometrics | 113 |
| 機械学習 | machine_learning | 111 |
| 国際法 | international_law | 120 |
| 公民 | japanese_civics | 150 |
| 公共関係 | public_relations | 109 |
| 高校心理学 | high_school_psychology | 150 |
| 高校物理 | high_school_physics | 150 |
| 高校統計学 | high_school_statistics | 150 |
| 高校数学 | high_school_mathematics | 150 |
| 高校生物学 | high_school_biology | 148 |
| 高校情報科学 | high_school_computer_science | 98 |
| 高校化学 | high_school_chemistry | 149 |
| 高校地理 | high_school_geography | 150 |
| 高校ヨーロッパ史 | high_school_european_history | 150 |
| 高校ミクロ経済学 | high_school_microeconomics | 149 |
| 高校マクロ経済学 | high_school_macroeconomics | 148 |
| 概念物理学 | conceptual_physics | 150 |
| 法理学 | jurisprudence | 107 |
| 電気工学 | electrical_engineering | 144 |
| 大学医学 | college_medicine | 150 |
| 大学物理 | college_physics | 100 |
| 大学数学 | college_mathematics | 99 |
| 大学生物学 | college_biology | 143 |
| 大学化学 | college_chemistry | 99 |
| 大学コンピュータ科学 | college_computer_science | 99 |
| 初等数学 | elementary_mathematics | 150 |
| 抽象代数 | abstract_algebra | 99 |
| マーケティング | marketing | 150 |
| ビジネス倫理 | business_ethics | 86 |
| セクシュアリティ | human_sexuality | 130 |
| セキュリティ研究 | security_studies | 150 |
| コンピュータセキュリティ | computer_security | 99 |
| ウイルス学 | virology | 150 |
なお、日本史、世界史の著作権はステップ株式会社が保有するものであり、言語モデルの研究・評価以外の商業利用は禁止されている。
熟語、公民、日本地理の著作権はVIST学習塾が保有するものであり、ライセンスはCC BY-NC-ND 4.0である。ただし言語モデルの研究・評価における商業利用は許可されている。
Shield:
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
本研究における翻訳に際し、理化学研究所からのご支援に深く感謝申し上げる。また、株式会社Stepには日本史及び社会史の内容提供について、VIST学習塾には熟語、公民、日本地理の提供について、心より御礼申し上げる。これらの支援がなければ、本研究の実施は困難であったことを認識し、関係各所のご協力に厚く謝意を表するものである。