LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition, Chengsong Huang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2307.13269

Affiliations

• Chengsong Huang, N/A
• Qian Liu, N/A
• Bill Yuchen Lin, N/A
• Tianyu Pang, N/A
• Chao Du, N/A
• Min Lin, N/A

Abstract

• Low-rank adaptations (LoRA) are often employed to fine-tune large languagemodels (LLMs) for new tasks. This paper investigates LoRA composability forcross-task generalization and introduces LoraHub, a strategic framework devisedfor the purposive assembly of LoRA modules trained on diverse given tasks, withthe objective of achieving adaptable performance on unseen tasks. With just afew examples from a novel task, LoraHub enables the fluid combination ofmultiple LoRA modules, eradicating the need for human expertise. Notably, thecomposition requires neither additional model parameters nor gradients. Ourempirical results, derived from the Big-Bench Hard (BBH) benchmark, suggestthat LoraHub can effectively mimic the performance of in-context learning infew-shot scenarios, excluding the necessity of in-context examples alongsideeach inference input. A significant contribution of our research is thefostering of a community for LoRA, where users can share their trained LoRAmodules, thereby facilitating their application to new tasks. We anticipatethis resource will widen access to and spur advancements in generalintelligence as well as LLMs in production. Code will be available athttps://github.com/sail-sg/lorahub.

Translation (by gpt-3.5-turbo)

• 低ランク適応（LoRA）は、大規模言語モデル（LLMs）を新しいタスクに適応させるためによく使用されます。本論文では、LoRAの組み合わせ可能性を検討し、さまざまな与えられたタスクでトレーニングされたLoRAモジュールを戦略的に組み合わせるためのフレームワークであるLoraHubを紹介します。これにより、未知のタスクに対して適応性のあるパフォーマンスを実現することが目指されています。LoraHubを使用すると、新しいタスクからわずかな例を使用して、複数のLoRAモジュールを柔軟に組み合わせることができ、人間の専門知識は必要ありません。特筆すべきことは、この組み合わせには追加のモデルパラメータや勾配は必要ないことです。Big-Bench Hard（BBH）ベンチマークから得られた実験結果は、LoraHubが少数の例でのシナリオでインコンテキスト学習のパフォーマンスを効果的に模倣できることを示しており、各推論入力ごとにインコンテキストの例が必要ないことを示しています。私たちの研究の重要な貢献の一つは、LoRAコミュニティの育成であり、ユーザーがトレーニングされたLoRAモジュールを共有し、新しいタスクへの適用を容易にすることです。このリソースが一般的な知能およびLLMsの普及と進歩を促進することを期待しています。コードはhttps://github.com/sail-sg/lorahubで利用可能です。

Summary (by gpt-3.5-turbo)

• 本研究では、大規模言語モデル（LLMs）を新しいタスクに適応させるための低ランク適応（LoRA）を検討し、LoraHubというフレームワークを提案します。LoraHubを使用すると、少数の例から複数のLoRAモジュールを組み合わせて柔軟に適応性のあるパフォーマンスを実現できます。また、追加のモデルパラメータや勾配は必要ありません。実験結果から、LoraHubが少数の例でのインコンテキスト学習のパフォーマンスを効果的に模倣できることが示されています。さらに、LoRAコミュニティの育成と共有リソースの提供にも貢献しています。

[AkihikoWatanabe]

学習されたLoRAのパラメータをモジュールとして捉え、新たなタスクのinputが与えられた時に、LoRA Hub上の適切なモジュールをLLMに組み合わせることで、ICL無しで汎化を実現するというアイデア。few shotのexampleを人間が設計する必要なく、同等の性能を達成。

[AkihikoWatanabe]

複数のLoRAモジュールは組み合わられるか？element wiseの線型結合で今回はやっているが、その疑問にこたえたのがcontribution