Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models, Zhihan Zhang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.13127

Affiliations

• Zhihan Zhang, N/A
• Shuohang Wang, N/A
• Wenhao Yu, N/A
• Yichong Xu, N/A
• Dan Iter, N/A
• Qingkai Zeng, N/A
• Yang Liu, N/A
• Chenguang Zhu, N/A
• Meng Jiang, N/A

Abstract

• Large language models (LLMs) can perform a wide range of tasks by followingnatural language instructions, without the necessity of task-specificfine-tuning. Unfortunately, the performance of LLMs is greatly influenced bythe quality of these instructions, and manually writing effective instructionsfor each task is a laborious and subjective process. In this paper, weintroduce Auto-Instruct, a novel method to automatically improve the quality ofinstructions provided to LLMs. Our method leverages the inherent generativeability of LLMs to produce diverse candidate instructions for a given task, andthen ranks them using a scoring model trained on a variety of 575 existing NLPtasks. In experiments on 118 out-of-domain tasks, Auto-Instruct surpasses bothhuman-written instructions and existing baselines of LLM-generatedinstructions. Furthermore, our method exhibits notable generalizability evenwith other LLMs that are not incorporated into its training process.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、タスク固有の微調整の必要性なしに、自然言語の指示に従って幅広いタスクを実行することができます。
  残念ながら、LLMsのパフォーマンスは、これらの指示の品質に大きく影響を受けます。
  そして、各タスクの効果的な指示を手動で作成することは、手間がかかり主観的なプロセスです。
  本論文では、LLMsに提供される指示の品質を自動的に向上させるための新しい手法であるAuto-Instructを紹介します。
  私たちの手法は、LLMsの持つ生成能力を活用して、与えられたタスクに対して多様な候補の指示を生成し、
  575の既存のNLPタスクでトレーニングされたスコアリングモデルを使用してそれらをランク付けします。
  118のドメイン外のタスクにおける実験では、Auto-Instructは人間による指示と既存のLLM生成指示の両方を上回ります。
  さらに、私たちの手法は、トレーニングプロセスに組み込まれていない他のLLMsでも顕著な汎化性能を示します。

Summary (by gpt-3.5-turbo)

• 本研究では、大規模言語モデル（LLMs）の性能を向上させるための新しい手法であるAuto-Instructを提案しています。
  この手法では、LLMsが生成する指示の品質を自動的に向上させるために、多様な候補の指示を生成し、スコアリングモデルでランク付けします。
  実験結果では、Auto-Instructが人間による指示や既存のLLM生成指示を上回ることが示されています。
  また、他のLLMsでも顕著な汎化性能を示すことも確認されています。

[AkihikoWatanabe]

seed instructionとdemonstrationに基づいて、異なるスタイルのinstructionを自動生成し、自動生成したinstructionをとinferenceしたいexampleで条件づけてランキングし、良質なものを選択。選択したinstructionでinferenceを実施する。

[AkihikoWatanabe]

既存手法よりも高い性能を達成している。特にexampleごとにinstructionを選択する手法の中で最もgainが高い。これは、提案手法がinstructionの選択にtrained modelを利用しているためであると考えられる。