Instruction Tuning for Large Language Models: A Survey, Shengyu Zhang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2308.10792

Affiliations

• Shengyu Zhang, N/A
• Linfeng Dong, N/A
• Xiaoya Li, N/A
• Sen Zhang, N/A
• Xiaofei Sun, N/A
• Shuhe Wang, N/A
• Jiwei Li, N/A
• Runyi Hu, N/A
• Tianwei Zhang, N/A
• Fei Wu, N/A
• Guoyin Wang, N/A

Abstract

• This paper surveys research works in the quickly advancing field ofinstruction tuning (IT), a crucial technique to enhance the capabilities andcontrollability of large language models (LLMs). Instruction tuning refers tothe process of further training LLMs on a dataset consisting of\textsc{(instruction, output)} pairs in a supervised fashion, which bridges thegap between the next-word prediction objective of LLMs and the users' objectiveof having LLMs adhere to human instructions. In this work, we make a systematicreview of the literature, including the general methodology of IT, theconstruction of IT datasets, the training of IT models, and applications todifferent modalities, domains and applications, along with an analysis onaspects that influence the outcome of IT (e.g., generation of instructionoutputs, size of the instruction dataset, etc). We also review the potentialpitfalls of IT along with criticism against it, along with efforts pointing outcurrent deficiencies of existing strategies and suggest some avenues forfruitful research.

Translation (by gpt-3.5-turbo)

• この論文では、大規模言語モデル（LLMs）の能力と制御性を向上させるための重要な技術であるinstruction tuning（IT）の急速に進化する分野の研究を調査しています。Instruction tuningは、LLMsの次の単語予測目標とユーザーの指示に従うことを目的としたデータセット（instruction, output）のペアでLLMsをさらにトレーニングする過程を指します。本研究では、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、および異なるモダリティ、ドメイン、アプリケーションへの応用について体系的に文献を調査し、指示の生成、指示データセットのサイズなどのITの結果に影響を与える要素について分析します。また、ITの潜在的な落とし穴や批判、既存の戦略の現在の不足点を指摘し、有益な研究の方向性を提案します。

Summary (by gpt-3.5-turbo)

• この論文では、instruction tuning（IT）という技術について調査しています。ITは、大規模言語モデル（LLMs）をさらにトレーニングするための方法であり、ユーザーの指示に従うことを目的としています。本研究では、ITの方法論やデータセットの構築、トレーニング方法などについて調査し、指示の生成やデータセットのサイズなどがITの結果に与える影響を分析します。また、ITの潜在的な問題や批判、現在の不足点についても指摘し、今後の研究の方向性を提案します。

[AkihikoWatanabe]

主要なモデルやデータセットの作り方など幅広くまとまっている

[AkihikoWatanabe]