[Paper Note] LoRA Learns Less and Forgets Less, Dan Biderman+, TMLR'24, 2024.05

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2405.09673

Authors

• Dan Biderman
• Jacob Portes
• Jose Javier Gonzalez Ortiz
• Mansheej Paul
• Philip Greengard
• Connor Jennings
• Daniel King
• Sam Havens
• Vitaliy Chiley
• Jonathan Frankle
• Cody Blakeney
• John P. Cunningham

Abstract

• Low-Rank Adaptation (LoRA) is a widely-used parameter-efficient finetuning method for large language models. LoRA saves memory by training only low rank perturbations to selected weight matrices. In this work, we compare the performance of LoRA and full finetuning on two target domains, programming and mathematics. We consider both the instruction finetuning (approximately 100K prompt-response pairs) and continued pretraining (20B unstructured tokens) data regimes. Our results show that, in the standard low-rank settings, LoRA substantially underperforms full finetuning. Nevertheless, LoRA better maintains the base model's performance on tasks outside the target domain. We show that LoRA mitigates forgetting more than common regularization techniques such as weight decay and dropout; it also helps maintain more diverse generations. Finally, we show that full finetuning learns perturbations with a rank that is 10-100X greater than typical LoRA configurations, possibly explaining some of the reported gaps. We conclude by proposing best practices for finetuning with LoRA.

Translation (by gpt-5-nano)

• Low-Rank Adaptation（LoRA）は、大規模言語モデルのための広く用いられているパラメータ効率的なファインチューニング手法である。LoRAは、選択された重み行列に対して低ランクの摂動を学習させることでメモリを節約する。本研究では、プログラミングと数学の2つのターゲットドメインにおいて、LoRAと完全なファインチューニングの性能を比較する。指示付きファインチューニング（約10万のプロンプト-レスポンス対）および継続的な事前学習（200億個の非構造トークン）という2つのデータレジームを検討する。我々の結果は、標準的な低ランク設定において、LoRAは完全なファインチューニングに著しく及ばない（劣る）ことを示している。それにもかかわらず、LoRAはターゲットドメイン外のタスクにおいてベースモデルの性能をより良く維持する。LoRAはウェイト減衰やドロップアウトなどの一般的な正則化手法よりも忘却を抑制する効果が大きく、またより多様な生成を維持するのにも役立つことを示す。最後に、完全なファインチューニングはLoRAの典型的な設定より10〜100倍大きいランクの摂動を学習することを示しており、これが報告されたギャップの一部を説明する可能性がある。我々は、LoRAを用いたファインチューニングの最良の実践方法を提案することで結論づける。

Summary (by gpt-4o-mini)

• LoRAは、大規模言語モデルの効率的なファインチューニング手法であり、重み行列に低ランクの摂動を学習させることでメモリを節約する。本研究では、プログラミングと数学のドメインにおいて、LoRAと完全なファインチューニングの性能を比較し、LoRAが標準的な設定で劣ることを示すが、ターゲットドメイン外のタスク性能を維持することに優れる。加えて、LoRAは忘却を抑制し、多様な生成を可能にすることが示された。最後に、完全なファインチューニングがLoRAよりも大きなランクの摂動を学習することにより性能差を説明できる可能性がある。LoRAのファインチューニングに関する最良の実践方法も提案されている。

[AkihikoWatanabe]

元ポスト:https://x.com/gyakuse/status/1874357127248306200?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

full finetuningとLoRAの性質の違いを理解するのに有用