Why do tree-based models still outperform deep learning on typical tabular data?, Grinsztajn+, Soda, Inria Saclay , arXiv'22

[AkihikoWatanabe]

https://arxiv.org/pdf/2207.08815.pdf

[AkihikoWatanabe]

tree basedなモデルがテーブルデータに対してニューラルモデルよりも優れた性能を発揮することを確認し、なぜこのようなことが起きるかいくつかの理由を説明した論文。

NNよりもtree basedなモデルがうまくいく理由として、モデルの帰納的バイアスがテーブルデータに適していることを調査している。考察としては

1. NNはスムーズなターゲットを学習する能力が高いが、表形式のような不規則なデータを学習するのに適していない

• Random Forestでは、x軸においてirregularなパターンも学習できているが、NNはできていない。
  

2. uninformativeなfeaatureがMLP-likeなNNに悪影響を与える

• Tabular dataは一般にuninformativeな情報を多く含んでおり、実際MLPにuninformativeなfeatureを組み込んだ場合tree-basedな手法とのgapが増加した
  

3. データはrotationに対して不変ではないため、学習手順もそうあるべき（この辺がよくわからなかった）

• ResNetはRotationを加えても性能が変わらなかった（rotation invariantな構造を持っている）