The Power of Scale for Parameter-Efficient Prompt Tuning, Lester+, Google Research, EMNLP‘21

[AkihikoWatanabe]

https://arxiv.org/abs/2104.08691

[AkihikoWatanabe]

日本語解説: https://qiita.com/kts_plea/items/79ffbef685d362a7b6ce

T5のような大規模言語モデルに対してfinetuningをかける際に、大規模言語モデルのパラメータは凍結し、promptをembeddingするパラメータを独立して学習する手法

言語モデルのパラメータ数が増加するにつれ、言語モデルそのものをfinetuningした場合（Model Tuning）と同等の性能を示した。