Measuring Massive Multitask Language Understanding, Dan Hendrycks+, N/A, ICLR'21

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2009.03300

Affiliations

• Dan Hendrycks, N/A
• Collin Burns, N/A
• Steven Basart, N/A
• Andy Zou, N/A
• Mantas Mazeika, N/A
• Dawn Song, N/A
• Jacob Steinhardt, N/A

Abstract

• We propose a new test to measure a text model's multitask accuracy. The testcovers 57 tasks including elementary mathematics, US history, computer science,law, and more. To attain high accuracy on this test, models must possessextensive world knowledge and problem solving ability. We find that while mostrecent models have near random-chance accuracy, the very largest GPT-3 modelimproves over random chance by almost 20 percentage points on average. However,on every one of the 57 tasks, the best models still need substantialimprovements before they can reach expert-level accuracy. Models also havelopsided performance and frequently do not know when they are wrong. Worse,they still have near-random accuracy on some socially important subjects suchas morality and law. By comprehensively evaluating the breadth and depth of amodel's academic and professional understanding, our test can be used toanalyze models across many tasks and to identify important shortcomings.

Translation (by gpt-3.5-turbo)

• 私たちは、テキストモデルのマルチタスクの正確性を測定するための新しいテストを提案します。このテストは、初等数学、アメリカの歴史、コンピュータサイエンス、法律などを含む57のタスクをカバーしています。このテストで高い正確性を達成するためには、モデルは広範な世界知識と問題解決能力を持っている必要があります。最近のほとんどのモデルはランダムな正確性に近いですが、最も大きなGPT-3モデルは平均してランダムな正確性をほぼ20パーセントポイント改善しています。しかし、57のタスクのどれにおいても、最良のモデルはまだ専門家レベルの正確性に達する前に大幅な改善が必要です。モデルはまた、性能に偏りがあり、間違っているときに自覚がないことがよくあります。さらに悪いことに、道徳や法律などの社会的に重要なテーマにおいても、モデルはまだランダムな正確性に近いです。私たちのテストは、モデルの学術的および専門的な理解の幅と深さを包括的に評価することにより、多くのタスクでモデルを分析し、重要な欠点を特定するために使用することができます。

Summary (by gpt-3.5-turbo)

• 私たちは、マルチタスクのテキストモデルの正確性を測定するための新しいテストを提案しています。このテストは、57のタスクをカバーし、広範な世界知識と問題解決能力を必要とします。現在のモデルはまだ専門家レベルの正確性に達しておらず、性能に偏りがあります。私たちのテストは、モデルの理解の幅と深さを評価し、重要な欠点を特定するために使用できます。