Upgrade to Pro — share decks privately, control downloads, hide ads and more …

ざっくりTabMを知る

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Ryushi
May 18, 2025
740

 ざっくりTabMを知る

Ryushi

May 18, 2025

Transcript

14 slides
  1. NAME Works Kaggle achievement Ryushi データサイエンティスト Kaggle Competitons Master (2

    gold medals) HMS - Harmful Brain Activity Classification | Gold medal UM - Game-Playing Strength of MCTS Variants | Gold medal
  2. Gorishniy, Y., Kotelnikov, A., & Babenko, A. (2025). 「TabM: Advancing

    Tabular Deep Learning with Parameter- Efficient Ensembling」.International Conference on Learning Representations (ICLR) 2025. TabMはシンプルなMLPベースながら“パラメータ効率的アンサンブル”を導⼊した新モデル https://github.com/yandex-research/tabm TabMとは
  3. TabNet TabTransformer FT-Transformer TabPFN TabM 2019 2020 2021 2022 2024

    主要なモデルと変遷 TabMの位置付け Tabular Deep Learningのなかでは最新の⼿法である
  4. TabMの特徴1:パラメータの効率的なアンサンブル BatchEnsembleに類似した⽅式でアンサンブル Wen, Y., Tran, D., & Ba, J. (2020).

    「BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning」.International Conference on Learning Representations (ICLR) 2020 同じMLPモデルを何個も独⽴に⽤意し、それぞれ別々に 初期化し、別々の重みで全く独⽴に学習 ⼤部分のパラメータを共通⼟台として共有し、⼀部だけ 別々に枝分かれさせる 通常のensemble BatchEnsemble
  5. TabMの特徴2:弱学習器の集合で強⼒なアンサンブルを実現 タスクの異なる4種類の公開データセットで回帰、分類タスクを解く K=32(サブモデルが32個)がk=1(MLP)より損失が⼩さい 分類 回帰(MSE) 他クラス分類 回帰 上段: 訓練/テスト損失の推移 下段:

    訓練/テスト損失の関係 k=32の平均予測は、損失が安定して低く、 過学習の悪影響が⼩さい。 k=32は、訓練損失とテスト損失の差が⼩さく ⼀般化性能が⾼いことが分かる。 「TabMにおける各サブモデルとその平均(アンサンブル)の訓練・テスト損失の推移」 ※回帰タスクならMSE(平均⼆乗誤差)、分類タスクならクロスエントロピー損失
  6. 性能評価:精度⽐較 TabMはTabular Deep Learningベースラインのなかで、 ⾼性能かつ安定したモデルである 縦列: 各モデル名 横軸: 平均順位 データセット:

    46個の公開データ 縦列: 各モデル名 横軸: MLP単体(基準=0%)に対する 相対的なパフォーマンス改善率 データセット: 左…37個の”ランダム分割” 右…9個の"ドメインアウェア分割” 平均性能順位(パフォーマンスランク) MLP基準の相対スコア⽐較
  7. CIBMTR - Equity in post-HCT Survival Predictions ⼈種ごとのHCT移植後⽣存期間を予測する”⽣存時間分析”コンペ コンペ期間: 2024.12.05-2025.03.06

    1,3,4,5,6位のチームでTabMが使⽤ TabMとデータコンペ Taskによっては、選択肢の1つになりえている
  8. References Gorishniy, Y., Kotelnikov, A., & Babenko, A. (2025). 「TabM:

    Advancing Tabular Deep Learning with Parameter-Efficient Ensembling」.International Conference on Learning Representations (ICLR) 2025. https://arxiv.org/abs/2410.24210 Wen, Y., Tran, D., & Ba, J. (2020). 「BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning」.International Conference on Learning Representations (ICLR) 2020 https://arxiv.org/abs/2002.06715 CIBMTR - Equity in post-HCT Survival Predictions https://www.kaggle.com/competitions/equity-post-HCT-survival-predictions/overview