ReFT: Representation Finetuning for Language Models, Zhengxuan Wu+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2404.03592

Affiliations

• Zhengxuan Wu, N/A
• Aryaman Arora, N/A
• Zheng Wang, N/A
• Atticus Geiger, N/A
• Dan Jurafsky, N/A
• Christopher D. Manning, N/A
• Christopher Potts, N/A

Abstract

• Parameter-efficient fine-tuning (PEFT) methods seek to adapt large models viaupdates to a small number of weights. However, much prior interpretability workhas shown that representations encode rich semantic information, suggestingthat editing representations might be a more powerful alternative. Here, wepursue this hypothesis by developing a family of $\textbf{RepresentationFinetuning (ReFT)}$ methods. ReFT methods operate on a frozen base model andlearn task-specific interventions on hidden representations. We define a stronginstance of the ReFT family, Low-rank Linear Subspace ReFT (LoReFT). LoReFT isa drop-in replacement for existing PEFTs and learns interventions that are10x-50x more parameter-efficient than prior state-of-the-art PEFTs. We showcaseLoReFT on eight commonsense reasoning tasks, four arithmetic reasoning tasks,Alpaca-Eval v1.0, and GLUE. In all these evaluations, LoReFT delivers the bestbalance of efficiency and performance, and almost always outperformsstate-of-the-art PEFTs. We release a generic ReFT training library publicly athttps://github.com/stanfordnlp/pyreft.

Translation (by gpt-3.5-turbo)

• パラメータ効率的な微調整（PEFT）手法は、少数の重みの更新を通じて大きなモデルを適応させることを目指しています。
  しかし、これまでの多くの解釈可能性の研究は、表現が豊かな意味情報をエンコードしていることを示しており、表現の編集がより強力な代替手法である可能性を示唆しています。
  ここでは、$\textbf{Representation Finetuning (ReFT)}$手法のファミリーを開発することで、この仮説を追求します。
  ReFT手法は、凍結されたベースモデル上で動作し、隠れた表現に対するタスク固有の介入を学習します。
  ReFTファミリーの強力なインスタンスであるLow-rank Linear Subspace ReFT (LoReFT)を定義します。
  LoReFTは、既存のPEFTの代替として利用でき、従来の最先端のPEFTよりも10倍から50倍パラメータ効率的な介入を学習します。
  私たちはLoReFTを8つの常識的な推論タスク、4つの算術推論タスク、Alpaca-Eval v1.0、およびGLUEで展示します。
  これらのすべての評価で、LoReFTは効率とパフォーマンスの最良のバランスを提供し、ほとんどの場合、最先端のPEFTを上回ります。
  私たちは一般的なReFTトレーニングライブラリをhttps://github.com/stanfordnlp/pyreftで公開しています。

Summary (by gpt-3.5-turbo)

• PEFT手法は、少数の重みの更新を通じて大きなモデルを微調整することを目指している。
  しかし、表現の編集がより強力な代替手法である可能性を示唆する解釈可能性の研究があり、その仮説を追求するためにReFT手法のファミリーを開発した。
  ReFT手法は、凍結されたベースモデル上で動作し、隠れた表現に対するタスク固有の介入を学習する。
  その中でも、LoReFTはPEFTの代替として利用でき、従来の最先端のPEFTよりも10倍から50倍パラメータ効率的な介入を学習する。
  LoReFTは8つの常識的な推論タスク、4つの算術推論タスク、Alpaca-Eval v1.0、およびGLUEで展示され、効率とパフォーマンスの最良のバランスを提供し、最先端のPEFTを上回ることが示された。

[AkihikoWatanabe]

参考:https://www.ai-shift.co.jp/techblog/4456