LaMini-instruction

[AkihikoWatanabe]

https://huggingface.co/datasets/MBZUAI/LaMini-instruction

[AkihikoWatanabe]

We distill the knowledge from large language models by performing sentence/offline distillation (Kim and Rush, 2016). We generate a total of 2.58M pairs of instructions and responses using gpt-3.5-turbo based on several existing resources of prompts, including self-instruct (Wang et al., 2022), P3 (Sanh et al., 2022), FLAN (Longpre et al., 2023) and Alpaca (Taori et al., 2023). More information about the process for generating our instruction dataset, please refer to our paper.

Translation (by gpt-3.5-turbo)

• 私たちは、大規模言語モデルからの知識を抽出するために、文/オフライン蒸留（Kim and Rush, 2016）を行います。私たちは、gpt-3.5-turboを使用して、self-instruct（Wang et al., 2022）、P3（Sanh et al., 2022）、FLAN（Longpre et al., 2023）、およびAlpaca（Taori et al., 2023）を含むいくつかの既存のプロンプトリソースに基づいて、合計258万ペアの指示と応答を生成します。私たちの指示データセットの生成プロセスの詳細については、私たちの論文を参照してください。

Summary (by gpt-3.5-turbo)

• 私たちは、大規模言語モデルからの知識を抽出するために、文/オフライン蒸留を行います。具体的には、いくつかの既存のプロンプトリソースに基づいて、合計258万ペアの指示と応答を生成します。詳細は論文を参照してください。

[AkihikoWatanabe]

既存のInstruction DatasetのInstructionをseedとして、gpt-3.5-turboで新たなInstructionとresponseを生成したデータセット