CodeGen2: Lessons for Training LLMs on Programming and Natural Languages, Erik Nijkamp+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.02309

Affiliations

• Erik Nijkamp, N/A
• Hiroaki Hayashi, N/A
• Caiming Xiong, N/A
• Silvio Savarese, N/A
• Yingbo Zhou, N/A

Abstract

• Large language models (LLMs) have demonstrated remarkable abilities inrepresentation learning for program synthesis and understanding tasks. Thequality of the learned representations appears to be dictated by the neuralscaling laws as a function of the number of model parameters and observations,while imposing upper bounds on the model performance by the amount of availabledata and compute, which is costly. In this study, we attempt to render the training of LLMs for programsynthesis more efficient by unifying four key components: (1) modelarchitectures, (2) learning methods, (3) infill sampling, and, (4) datadistributions. Specifically, for the model architecture, we attempt to unifyencoder and decoder-based models into a single prefix-LM. For learning methods,(i) causal language modeling, (ii) span corruption, (iii) infilling are unifiedinto a simple learning algorithm. For infill sampling, we explore the claim ofa "free lunch" hypothesis. For data distributions, the effect of a mixturedistribution of programming and natural languages on model performance isexplored. We conduct a comprehensive series of empirical experiments on 1B LLMs, forwhich failures and successes of this exploration are distilled into fourlessons. We will provide a final recipe for training and release CodeGen2models in size 1B, 3.7B, 7B, and, 16B parameters, along with the trainingframework as open-source: https://github.com/salesforce/CodeGen2.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、プログラム合成や理解タスクの表現学習において顕著な能力を示しています。学習された表現の品質は、モデルパラメータと観測数の関数としてのニューラルスケーリング法によって決定され、利用可能なデータとコンピューティング量によってモデルの性能に上限が設けられています。これはコストがかかります。
  本研究では、プログラム合成のためのLLMsのトレーニングをより効率的にするために、4つの主要な要素を統合することを試みました：（1）モデルアーキテクチャ、（2）学習方法、（3）インフィルサンプリング、および（4）データ分布。具体的には、モデルアーキテクチャについて、エンコーダとデコーダベースのモデルを単一のプレフィックスLLMに統合しようとしました。学習方法については、（i）因果言語モデリング、（ii）スパン破壊、（iii）インフィリングを単純な学習アルゴリズムに統合しました。インフィルサンプリングについては、「無料の昼食」仮説を探求しました。データ分布については、プログラミング言語と自然言語の混合分布がモデルの性能に与える影響を探求しました。
  1B LLMsで包括的な一連の実験を実施し、この探求の失敗と成功を4つのレッスンにまとめました。1B、3.7B、7B、および16BパラメータのCodeGen2モデルのトレーニング方法とトレーニングフレームワークをオープンソースで提供します：https://github.com/salesforce/CodeGen2。

Summary (by gpt-3.5-turbo)

• • 大規模言語モデル（LLMs）のトレーニングを効率的にするために、4つの要素を統合することを試みた。
• モデルアーキテクチャ、学習方法、インフィルサンプリング、データ分布を統合した。
• 1B LLMsで実験を行い、成功と失敗を4つのレッスンにまとめた。
• CodeGen2モデルのトレーニング方法とトレーニングフレームワークをオープンソースで提供する。