中規模の表形式データでTree-basedモデルがディープラーニングを上回るのはなぜか？３つの見解を述べた論文を紹介

表形式データを使った推論でTree-basedモデルがディープラーニングをアウトパーフォームすることに対して3つの見解を述べた論文を紹介します。

Grinsztajn, Léo, Edouard Oyallon, and Gaël Varoquaux. "Why do tree-based models still outperform deep learning on tabular data?." arXiv preprint arXiv:2207.08815 (2022).

動画はこちら
https://www.youtube.com/watch?v=Os4bA9OlGss

1. 中規模の表形式データで Tree-basedモデルがディープラーニングを上回るのはなぜか？ ３つの見解を述べた論文を紹介
2. 表形式データの推論 • NNが様々な分野でイノベーションを起こしている • 一方、業務で使う表形式のデータを用いた推論では、NNよりもTree-basedモデルの ほうが計算が早く性能が良いということがよくある • 表形式データを用いた推論で、「Tree-basedモデルがNNよりも高い性能となる理由」 を調査した論文を紹介 表形式データ Tree-basedモデル NN 性能が高い？
3. 紹介する論文 • Why do tree-based models still outperform deep learning on tabular data? ◦ 日本語タイトル「表形式データにおいて、ツリーベースモデルが依然としてディープラーニングを上 回るのはなぜか？」 ◦ Grinsztajn, Léo, Edouard Oyallon, and Gaël Varoquaux. "Why do tree-based models still outperform deep learning on tabular data?." arXiv preprint arXiv:2207.08815 (2022). ◦ https://arxiv.org/abs/2207.08815 • 論文の内容を抜粋して紹介 (詳しい内容を知りたい方は元論文を参照) • サマリー ◦ 表形式データに対するベンチマークを提供 （対象データで、Tree-basedモデル > NN) ◦ 中規模データセットにおいて , Tree-based がNN を上回る原因は3つ ▪ NNは過度に滑らかな解に偏ってしまうから ▪ NNは情報を持たない変数に弱いから ▪ 表形式データは回転不変性を持たないから
4. 実験概要 全45のデータセット (回帰&分類) Tree-based NN • 複数データセットでの性能を まとめて評価 • 表形式データに対する ベンチマークを作成 気になる点 ➢ どのようなデータか ➢ 前処理はどこまで行ったか ➢ 対象としたモデルは何か
5. 使用データ • 特徴同士が異なる種類であること • 高次元でないこと (特徴量の数/サンプル数 < 1/10) • 利用可能な情報が十分にあること • 時系列データでないこと • 人工データでないこと • 小さすぎないこと (特徴量の数>=4, サンプル数>=3000) • 簡単すぎないこと (logistic regressionや単一の決定木だけでは解けない) • 決定論的でないこと
6. 副次的な影響を除く • 学習データを10000で打ち切る (中規模データに限定) • 欠損を除去 • 分類タスクの場合, クラス数は2かつ均衡にする • 20種以上のカテゴリを持つ特徴を除去 • 10種以下の値しか持たない数値変数を除去
7. 前処理・対象モデル・評価方法 前処理は最低限 • NNを使う時は各特徴を正規化 • 目的変数の分布に偏りがある場合は対数変換 • カテゴリ変数は one-hot encoding 評価方法 • 分類タスク: Accuracy • 回帰タスク: R2 とし, 使用したデータセット間での平均的な性能 (0~1) を指標とする 対象モデル • tree-based ◦ RandomForest ◦ GBTs(Gradient Boosting Trees) ◦ XGBoost • NN ◦ MLP ◦ Resnet ◦ FT_Transformer ◦ SAINT どちらもtransformerベース
8. 結果 ベンチマーク • 上: 数値変数のみ • 下: 数値&カテゴリ • 点線: デフォルトパラメータ • 実線: ランダムサーチのseedを15回 変えた時の平均精度
9. ベンチマーク性能からわかること • パラメータをチューニングしてもNN はTree-based よりも性能が低い • カテゴリ変数の存在がNN の性能を悪化させている訳ではない → なぜこのような結果になるのか？ → 表形式データのどのような特性がtree-based では学習しやすく, NN では 　 困難としているのか？ → 3つの実験と見解
10. １. 出力を平滑化させたときの影響 ガウシアンカーネルを用いて出力を平滑化させ性能の変化を調査 • Tree-based モデルの性能は平滑化をおおきくすると 著しく低下 • 一方、NNも性能も落ちるものの、 Tree-basedモデル に比べると性能劣化が少ない 元データ 平滑化(sigma=1) 平滑化(sigma=2) 平滑化のイメージ NNは滑らかな解に偏っている
11. ２. 特徴量を増減させたときの影響 • GBT では重要度 (RF Importance) に応じて特徴を減らしても性能が下がりにくい • 情報を持たない特徴を段階的に追加すると, NN は tree-based よりも 大きく性能が悪化する • NNは情報を持たない変数に弱い 差が縮まる 差が広がる
12. ３. データセットを回転させたときの影響 データセットの回転の有無による性能の変化 • Tree-baseモデルとNNで、回転後の性能 が逆転 • 表形式データは1列ごとに意味を持つた め、回転により誤った情報を生み出してし まう • 表形式データは回転不変性を持たない
13. まとめ • 多様なデータセットを利用して, パラメタ探索を考慮しながら両モデルの傾向を把握できた • 中規模データセットにおいてはtree-based はNN よりも簡潔かつ高速に精度を出せる • 原因は, 出力が外れ値を含む場合が多いこと・不要な特徴が多いこと・表形式データの非回転 不変性にある 今後研究が必要なこと • 両モデルに差をつけているバイアスは他にあるか • 小規模, 大規模データセットではどうなるか • 副次的な影響を考慮した場合はどうなるか