[Paper Note] BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models, Junnan Li+, ICML'23, 2023.01

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2301.12597

Authors

• Junnan Li
• Dongxu Li
• Silvio Savarese
• Steven Hoi

Abstract

• The cost of vision-and-language pre-training has become increasingly prohibitive due to end-to-end training of large-scale models. This paper proposes BLIP-2, a generic and efficient pre-training strategy that bootstraps vision-language pre-training from off-the-shelf frozen pre-trained image encoders and frozen large language models. BLIP-2 bridges the modality gap with a lightweight Querying Transformer, which is pre-trained in two stages. The first stage bootstraps vision-language representation learning from a frozen image encoder. The second stage bootstraps vision-to-language generative learning from a frozen language model. BLIP-2 achieves state-of-the-art performance on various vision-language tasks, despite having significantly fewer trainable parameters than existing methods. For example, our model outperforms Flamingo80B by 8.7% on zero-shot VQAv2 with 54x fewer trainable parameters. We also demonstrate the model's emerging capabilities of zero-shot image-to-text generation that can follow natural language instructions.

Translation (by gpt-4o-mini)

• 視覚と言語の事前学習のコストは、大規模モデルのエンドツーエンドのトレーニングにより、ますます高くなっています。本論文では、既存の事前学習済み画像エンコーダと大規模言語モデルを用いた汎用的かつ効率的な事前学習戦略であるBLIP-2を提案します。BLIP-2は、軽量なクエリトランスフォーマーを用いてモダリティのギャップを埋めており、これは二段階で事前学習されます。第一段階では、凍結された画像エンコーダから視覚と言語の表現学習を始動します。第二段階では、凍結された言語モデルから視覚から言語への生成学習を始動します。BLIP-2は、トレーニング可能なパラメータが既存の方法よりも大幅に少ないにもかかわらず、さまざまな視覚と言語タスクで最先端のパフォーマンスを達成しています。例えば、我々のモデルは、トレーニング可能なパラメータが54倍少ないにもかかわらず、ゼロショットVQAv2でFlamingo80Bを8.7%上回ります。また、自然言語の指示に従うことができるゼロショットの画像からテキストへの生成能力も実証しています。

Summary (by gpt-4o-mini)

• BLIP-2は、視覚と言語の事前学習を効率化する新しい戦略で、既存の画像エンコーダと大規模言語モデルを活用。軽量なクエリトランスフォーマーにより二段階での事前学習を実施し、視覚と言語の表現を効果的に結合。トレーニング可能なパラメータは少ないながらも、ゼロショットタスクで優れた性能を発揮し、Flamingo80Bを上回る成果を示した。

[AkihikoWatanabe]

日本語解説: https://qiita.com/moufuyu/items/94418980ec0598671221

[AkihikoWatanabe]

BLIP:

• [Paper Note] BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation, Junnan Li+, ICML'22, 2022.01 #4461

Flamingo:

• [Paper Note] Flamingo: a Visual Language Model for Few-Shot Learning, Jean-Baptiste Alayrac+, NeurIPS'22, 2022.04 #4465