Unnatural Instructions: Tuning Language Models with (Almost) No Human Labor, ACL'23

[AkihikoWatanabe]

https://virtual2023.aclweb.org/paper_P4013.html

[AkihikoWatanabe]

Instruction tuning enables pretrained language models to perform new tasks from inference-time natural language descriptions. These approaches rely on vast amounts of human supervision in the form of crowdsourced datasets or user interactions. In this work, we introduce Unnatural Instructions: a large dataset of creative and diverse instructions, collected with virtually no human labor. We collect 64,000 examples by prompting a language model with three seed examples of instructions and eliciting a fourth. This set is then expanded by prompting the model to rephrase each instruction, creating a total of approximately 240,000 examples of instructions, inputs, and outputs. Experiments show that despite containing a fair amount of noise, training on Unnatural Instructions rivals the effectiveness of training on open-source manually-curated datasets, surpassing the performance of models such as T0++ and Tk-Instruct across various benchmarks. These results demonstrate the potential of model-generated data as a cost-effective alternative to crowdsourcing for dataset expansion and diversification.

Translation (by gpt-3.5-turbo)

• 指示の調整により、事前学習済みの言語モデルが推論時の自然言語の説明から新しいタスクを実行できるようになります。これらのアプローチは、クラウドソーシングされたデータセットやユーザーの対話形式の形で、膨大な量の人間の監督を必要とします。本研究では、ほとんど人間の労力を必要としない方法で収集された創造的で多様な指示の大規模データセット「Unnatural Instructions」を紹介します。我々は、言語モデルに3つのシード例の指示を提示し、第4の指示を引き出すことで、64,000の例を収集しました。このセットは、モデルに各指示を言い換えるように促すことで拡張され、指示、入力、出力の合計約240,000の例が作成されました。実験の結果、Unnatural Instructionsでのトレーニングは、ノイズが多いにも関わらず、オープンソースの手動でキュレーションされたデータセットでのトレーニングの効果と匹敵し、さまざまなベンチマークでT0++やTk-Instructなどのモデルの性能を上回ることが示されました。これらの結果は、データセットの拡張と多様化のためのクラウドソーシングの費用対効果の高い代替手段として、モデル生成データの潜在能力を示しています。

Summary (by gpt-3.5-turbo)

• 本研究では、人間の監督を必要としない方法で収集された大規模なデータセット「Unnatural Instructions」を紹介します。このデータセットを使用して、言語モデルのトレーニングを行い、既存のモデルを上回る性能を実現しました。これにより、クラウドソーシングに頼らずにデータセットを拡張し、多様性を持たせることができることが示されました。