One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning, Arnav Chavan+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2306.07967

Affiliations

• Arnav Chavan, N/A
• Zhuang Liu, N/A
• Deepak Gupta, N/A
• Eric Xing, N/A
• Zhiqiang Shen, N/A

Abstract

• We present Generalized LoRA (GLoRA), an advanced approach for universalparameter-efficient fine-tuning tasks. Enhancing Low-Rank Adaptation (LoRA),GLoRA employs a generalized prompt module to optimize pre-trained model weightsand adjust intermediate activations, providing more flexibility and capabilityacross diverse tasks and datasets. Moreover, GLoRA facilitates efficientparameter adaptation by employing a scalable, modular, layer-wise structuresearch that learns individual adapter of each layer. Originating from a unifiedmathematical formulation, GLoRA exhibits strong transfer learning, few-shotlearning and domain generalization abilities, as it adjusts to new tasksthrough additional dimensions on weights and activations. Comprehensiveexperiments demonstrate that GLoRA outperforms all previous methods in natural,specialized, and structured benchmarks, achieving superior accuracy with fewerparameters and computations on various datasets. Furthermore, our structuralre-parameterization design ensures that GLoRA incurs no extra inference cost,rendering it a practical solution for resource-limited applications. Code isavailable at: https://github.com/Arnav0400/ViT-Slim/tree/master/GLoRA.

Translation (by gpt-3.5-turbo)

• 本研究では、汎用的なパラメータ効率の高いファインチューニングタスクのための高度な手法であるGeneralized LoRA (GLoRA)を提案する。Low-Rank Adaptation (LoRA)を拡張したGLoRAは、汎用的なプロンプトモジュールを使用して、事前学習済みモデルの重みを最適化し、中間アクティベーションを調整することで、多様なタスクとデータセットに対してより柔軟性と能力を提供する。さらに、GLoRAは、各レイヤーの個別のアダプタを学習するスケーラブルでモジュラーなレイヤーごとの構造探索を採用することで、効率的なパラメータの適応を促進する。統一された数学的定式化から生まれたGLoRAは、重みとアクティベーションの追加次元を介して新しいタスクに適応することで、強力な転移学習、少数ショット学習、ドメイン汎化能力を発揮する。包括的な実験により、GLoRAは、自然言語、専門分野、構造化ベンチマークにおいて、従来のすべての手法を上回り、様々なデータセットでより少ないパラメータと計算で優れた精度を達成することが示された。さらに、構造的な再パラメータ化設計により、GLoRAは推論コストを増加させることなく、リソースに制限のあるアプリケーションにとって実用的な解決策となる。コードはhttps://github.com/Arnav0400/ViT-Slim/tree/master/GLoRAで入手可能である。

Summary (by gpt-3.5-turbo)

• 本研究では、汎用的なファインチューニングタスクのための高度な手法であるGeneralized LoRA (GLoRA)を提案し、事前学習済みモデルの重みを最適化し、中間アクティベーションを調整することで、多様なタスクとデータセットに対してより柔軟性と能力を提供する。GLoRAは、各レイヤーの個別のアダプタを学習するスケーラブルでモジュラーなレイヤーごとの構造探索を採用することで、効率的なパラメータの適応を促進する。包括的な実験により、GLoRAは、自然言語、専門分野、構造化ベンチマークにおいて、従来のすべての手法を上回り、様々なデータセットでより少ないパラメータと計算で優れた精度を達成することが示された。