VeRA: Vector-based Random Matrix Adaptation, Dawid J. Kopiczko+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.11454

Affiliations

• Dawid J. Kopiczko, N/A
• Tijmen Blankevoort, N/A
• Yuki M. Asano, N/A

Abstract

• Low-rank adapation (LoRA) is a popular method that reduces the number oftrainable parameters when finetuning large language models, but still facesacute storage challenges when scaling to even larger models or deployingnumerous per-user or per-task adapted models. In this work, we presentVector-based Random Matrix Adaptation (VeRA), which significantly reduces thenumber of trainable parameters compared to LoRA, yet maintains the sameperformance. It achieves this by using a single pair of low-rank matricesshared across all layers and learning small scaling vectors instead. Wedemonstrate its effectiveness on the GLUE and E2E benchmarks, imageclassification tasks, and show its application in instruction-tuning of 7B and13B language models.

Translation (by gpt-3.5-turbo)

• 低ランク適応（LoRA）は、大規模な言語モデルのfine-tuning時に訓練可能なパラメータの数を減らす人気のある手法ですが、さらに大きなモデルや多数のユーザーやタスクごとの適応モデルを展開する際には、ストレージの課題が深刻です。
  本研究では、ベクトルベースのランダム行列適応（VeRA）を提案し、LoRAと比較して訓練可能なパラメータの数を大幅に削減しながら、同じ性能を維持します。
  これは、すべてのレイヤーで共有される1つのペアの低ランク行列を使用し、代わりに小さなスケーリングベクトルを学習することによって実現されます。
  GLUEとE2Eのベンチマーク、画像分類タスクでの効果を示し、7Bおよび13Bの言語モデルのインストラクションチューニングへの応用も示します。

Summary (by gpt-3.5-turbo)

• 本研究では、大規模な言語モデルのfine-tuningにおいて、訓練可能なパラメータの数を削減するための新しい手法であるベクトルベースのランダム行列適応（VeRA）を提案する。
  VeRAは、共有される低ランク行列と小さなスケーリングベクトルを使用することで、同じ性能を維持しながらパラメータ数を削減する。
  GLUEやE2Eのベンチマーク、画像分類タスクでの効果を示し、言語モデルのインストラクションチューニングにも応用できることを示す。