Aligning Large Language Models with Human: A Survey, Yufei Wang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2307.12966

Affiliations

• Yufei Wang, N/A
• Wanjun Zhong, N/A
• Liangyou Li, N/A
• Fei Mi, N/A
• Xingshan Zeng, N/A
• Wenyong Huang, N/A
• Lifeng Shang, N/A
• Xin Jiang, N/A
• Qun Liu, N/A

Abstract

• Large Language Models (LLMs) trained on extensive textual corpora haveemerged as leading solutions for a broad array of Natural Language Processing(NLP) tasks. Despite their notable performance, these models are prone tocertain limitations such as misunderstanding human instructions, generatingpotentially biased content, or factually incorrect (hallucinated) information.Hence, aligning LLMs with human expectations has become an active area ofinterest within the research community. This survey presents a comprehensiveoverview of these alignment technologies, including the following aspects. (1)Data collection: the methods for effectively collecting high-qualityinstructions for LLM alignment, including the use of NLP benchmarks, humanannotations, and leveraging strong LLMs. (2) Training methodologies: a detailedreview of the prevailing training methods employed for LLM alignment. Ourexploration encompasses Supervised Fine-tuning, both Online and Offline humanpreference training, along with parameter-efficient training mechanisms. (3)Model Evaluation: the methods for evaluating the effectiveness of thesehuman-aligned LLMs, presenting a multifaceted approach towards theirassessment. In conclusion, we collate and distill our findings, shedding lighton several promising future research avenues in the field. This survey,therefore, serves as a valuable resource for anyone invested in understandingand advancing the alignment of LLMs to better suit human-oriented tasks andexpectations. An associated GitHub link collecting the latest papers isavailable at https://github.com/GaryYufei/AlignLLMHumanSurvey.

Translation (by gpt-3.5-turbo)

• 大規模なテキストコーパスで訓練された大規模言語モデル（LLMs）は、さまざまな自然言語処理（NLP）タスクにおいて主要な解決策として登場しています。その優れた性能にもかかわらず、これらのモデルには人間の指示を誤解する、バイアスのあるコンテンツを生成する、事実に基づかない（幻想的な）情報を生成するなどの制約があります。そのため、LLMsを人間の期待に合わせることは、研究コミュニティ内で活発な関心事となっています。本調査では、以下の側面を含む、これらのアラインメント技術の包括的な概要を提供します。 (1) データ収集：LLMのアラインメントにおいて高品質な指示を効果的に収集するための方法について、NLPベンチマークの使用、人間の注釈、強力なLLMの活用などを説明します。 (2) トレーニング手法：LLMのアラインメントに使用される主要なトレーニング手法について詳細に説明します。私たちの調査では、教師あり微調整、オンラインおよびオフラインの人間の好みに基づくトレーニング、およびパラメータ効率の良いトレーニングメカニズムを網羅します。 (3) モデル評価：これらの人間にアラインされたLLMの効果を評価するための方法について、多面的なアプローチを提示します。結論として、私たちは研究の将来の有望な方向性についての知見をまとめ、整理し、提供します。したがって、この調査は、LLMsのアラインメントをより適切に人間指向のタスクと期待に合わせることに関心のある人々にとって貴重な情報源となります。最新の論文を収集した関連するGitHubリンクは、https://github.com/GaryYufei/AlignLLMHumanSurveyで利用できます。

Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、自然言語処理のタスクにおいて重要な役割を果たしていますが、その性能には制約があります。この調査では、LLMsの性能を向上させるためのアラインメント技術について包括的な概要を提供します。具体的には、データ収集方法、トレーニング手法、モデル評価方法について説明します。さらに、将来の研究の方向性についてもまとめられています。この調査は、LLMsの性能向上に関心のある人々にとって貴重な情報源となるでしょう。

[AkihikoWatanabe]

LLMのAlignment手法に関するSurvey