On First-Order Meta-Learning Algorithms

[tm4roon]

On First-Order Meta-Learning Algorithms

Model-Agnostic Meta-Learning (MAML)は、二次勾配の計算が含まれることからメモリ効率が悪く計算コストが高いことが知られている。本論文では、MAMLの一次近似手法First-Order MAML (FOMAML)を拡張したReptileという手法を提案し、高速かつ頑健に動作することを示していた。手法は以下の通りで非常にシンプルである。

文献情報

• 著者: Alex Nichol, Joshua Achiam, John Schulman
• リンク: https://arxiv.org/abs/1803.02999
• 学会: arXiv

参考文献

• Reptile: A Scalable Meta- Learning Algorithm
• [DL輪読会]1次近似系MAMLとその理論的背景
• On First-Order Meta-Learning Algorithms