[Paper Note] Flow Matching for Generative Modeling, Yaron Lipman+, ICLR'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2210.02747

Authors

• Yaron Lipman
• Ricky T. Q. Chen
• Heli Ben-Hamu
• Maximilian Nickel
• Matt Le

Abstract

• We introduce a new paradigm for generative modeling built on Continuous Normalizing Flows (CNFs), allowing us to train CNFs at unprecedented scale. Specifically, we present the notion of Flow Matching (FM), a simulation-free approach for training CNFs based on regressing vector fields of fixed conditional probability paths. Flow Matching is compatible with a general family of Gaussian probability paths for transforming between noise and data samples -- which subsumes existing diffusion paths as specific instances. Interestingly, we find that employing FM with diffusion paths results in a more robust and stable alternative for training diffusion models. Furthermore, Flow Matching opens the door to training CNFs with other, non-diffusion probability paths. An instance of particular interest is using Optimal Transport (OT) displacement interpolation to define the conditional probability paths. These paths are more efficient than diffusion paths, provide faster training and sampling, and result in better generalization. Training CNFs using Flow Matching on ImageNet leads to consistently better performance than alternative diffusion-based methods in terms of both likelihood and sample quality, and allows fast and reliable sample generation using off-the-shelf numerical ODE solvers.

Translation (by gpt-4o-mini)

• 我々は、Continuous Normalizing Flows（CNFs）に基づいた生成モデルの新しいパラダイムを提案し、前例のない規模でCNFsを訓練することを可能にします。具体的には、固定された条件付き確率経路のベクトル場を回帰することに基づく、シミュレーション不要のCNFs訓練手法であるFlow Matching（FM）の概念を提示します。Flow Matchingは、ノイズとデータサンプル間の変換のための一般的なガウス確率経路のファミリーと互換性があり、既存の拡散経路を特定のインスタンスとして包含します。興味深いことに、FMを拡散経路と併用することで、拡散モデルの訓練においてより堅牢で安定した代替手段が得られることがわかりました。さらに、Flow Matchingは、他の非拡散確率経路を用いたCNFsの訓練への扉を開きます。特に興味深いのは、条件付き確率経路を定義するために最適輸送（OT）変位補間を使用することです。これらの経路は拡散経路よりも効率的で、訓練とサンプリングが速く、より良い一般化をもたらします。ImageNet上でFlow Matchingを用いてCNFsを訓練すると、尤度とサンプル品質の両方において、代替の拡散ベースの手法よりも一貫して優れた性能を発揮し、オフ・ザ・シェルフの数値ODEソルバーを使用して迅速かつ信頼性の高いサンプル生成を可能にします。

Summary (by gpt-4o-mini)

• Continuous Normalizing Flows（CNFs）に基づく新しい生成モデルの訓練手法Flow Matching（FM）を提案。FMは固定された条件付き確率経路のベクトル場を回帰し、シミュレーション不要で訓練可能。拡散経路と併用することで、より堅牢な訓練が実現。最適輸送を用いた条件付き確率経路は効率的で、訓練とサンプリングが速く、一般化性能も向上。ImageNetでの実験により、FMは拡散ベース手法よりも優れた性能を示し、迅速なサンプル生成を可能にする。

[AkihikoWatanabe]

関連:

• [Paper Note] High-Resolution Image Synthesis with Latent Diffusion Models, Robin Rombach+, CVPR'22, 2021.12 #3208