HyperSTAR: Task-Aware Hyperparameters for Deep Networks #104
Description
論文概要
未知のデータセットに対するハイパーパラメータ（学習率、Optimizer、Augmentation…）の推薦、ランク付けを行う。特定のデータセットとハイパラ構成を入力したときに、そのパフォーマンス予測器をEnd2Endで学習したのがキモ。いわゆるメタ学習。
工夫しているところとしては、データセット間でパフォーマンススコアにバラツキがあるので、その影響を緩和するために正規化しているところ。また、もし２つのデータセットが同じようなハイパラランクをつける場合は、同じような特徴のデータセットであるべき、という正則化を設けているところ。CVPR2020オーラル。
感想
人的に今すぐ試してみたいタスクがいくつかあるので、早くコードを公開してほしい。