機械学習におけるハイパーパラメータ最適化の理論と実践

[Beluuuuuuga]

論文情報

https://logmi.jp/tech/articles/322678

一言で言うと

ハイパーパラメータ最適化の紹介

背景

ハイパーパラメータの最適化はブラックボックスな関数の最適化
この発表ではブラックボックス最適化において有力なCMA-ESとベイズ最適化が存在

ベイズ最適化によるハイパーパラメータの最適化はGP-EIという手法とTPEが存在
まずはGP-EIから紹介

赤い部分がGPに予測された確率分布であり、下の緑がEIで算出した結果
右端が大きいので、右端でGPを更新

いまいちよくわからないのでまたこの部分は勉強

次はTPE
HyperoptやOptunaがデフォルトで採用している

TPEはEIを使うという点まではGP-EIと同じ
モデル化の部分がGP-EIと異なり、具体的にはGP-EIがp(y|x)をGP-EIで直接モデル化をしていたが、その代わりにp(x|y)とp(y)でモデル化

l(x)/g(x)を最大とするxがEIを一番大きくする
上の図の重なりをなるべく大きくする

ハイパーパラメータの個数が少ない問題に関してはGP-EIのほうが良い性能を示す
一方で次元が高い問題に関してはTPEのほうが良い性能

進化計算手法における有名な手法CMA-ESの説明

正規分布をサンプルします。このサンプルしたそれぞれの解に対して評価
良い解だったら大きな重みに、悪い解だったら小さい重みにと重み付けを行い、この重み付けを行ったものを用いて、正規分布のパラメータを更新

次元数が大きい場合は、CMA-ESの方が良い
GP-EIの計算量はイテレーション数tに対して3乗に効いてくる

貢献

提案

実験・考察

補足・疑問など