Share
Embed
ざっくりTabMを知る
Ryushi
May 18, 2025
Transcript
14 slides
-
NAME Works Kaggle achievement Ryushi データサイエンティスト Kaggle Competitons Master (2
gold medals) HMS - Harmful Brain Activity Classification | Gold medal UM - Game-Playing Strength of MCTS Variants | Gold medal -
Gorishniy, Y., Kotelnikov, A., & Babenko, A. (2025). 「TabM: Advancing
Tabular Deep Learning with Parameter- Efficient Ensembling」.International Conference on Learning Representations (ICLR) 2025. TabMはシンプルなMLPベースながら“パラメータ効率的アンサンブル”を導⼊した新モデル https://github.com/yandex-research/tabm TabMとは -
TabNet TabTransformer FT-Transformer TabPFN TabM 2019 2020 2021 2022 2024
主要なモデルと変遷 TabMの位置付け Tabular Deep Learningのなかでは最新の⼿法である -
TabMの特徴1:パラメータの効率的なアンサンブル BatchEnsembleに類似した⽅式でアンサンブル Wen, Y., Tran, D., & Ba, J. (2020).
「BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning」.International Conference on Learning Representations (ICLR) 2020 同じMLPモデルを何個も独⽴に⽤意し、それぞれ別々に 初期化し、別々の重みで全く独⽴に学習 ⼤部分のパラメータを共通⼟台として共有し、⼀部だけ 別々に枝分かれさせる 通常のensemble BatchEnsemble -
TabMの特徴2:弱学習器の集合で強⼒なアンサンブルを実現 タスクの異なる4種類の公開データセットで回帰、分類タスクを解く K=32(サブモデルが32個)がk=1(MLP)より損失が⼩さい 分類 回帰(MSE) 他クラス分類 回帰 上段: 訓練/テスト損失の推移 下段:
訓練/テスト損失の関係 k=32の平均予測は、損失が安定して低く、 過学習の悪影響が⼩さい。 k=32は、訓練損失とテスト損失の差が⼩さく ⼀般化性能が⾼いことが分かる。 「TabMにおける各サブモデルとその平均(アンサンブル)の訓練・テスト損失の推移」 ※回帰タスクならMSE(平均⼆乗誤差)、分類タスクならクロスエントロピー損失 -
性能評価:精度⽐較 TabMはTabular Deep Learningベースラインのなかで、 ⾼性能かつ安定したモデルである 縦列: 各モデル名 横軸: 平均順位 データセット:
46個の公開データ 縦列: 各モデル名 横軸: MLP単体(基準=0%)に対する 相対的なパフォーマンス改善率 データセット: 左…37個の”ランダム分割” 右…9個の"ドメインアウェア分割” 平均性能順位(パフォーマンスランク) MLP基準の相対スコア⽐較 -
性能評価:速度⽐較 学習・推論時間においても他のTabular Deep Learningベースラインを上回る TabMはMLPにほぼ次ぐ速さで、Attention系・検索系(SAINT, FT-Transformer, TabR, MNCA等)よりも1桁〜2桁速い例多数 学習 推論
TabMはMLP、XGBoostに近い推論速度を実現 「⼩規模データセットにおける学習時間とGPU時間の⽐較」 -
CIBMTR - Equity in post-HCT Survival Predictions ⼈種ごとのHCT移植後⽣存期間を予測する”⽣存時間分析”コンペ コンペ期間: 2024.12.05-2025.03.06
1,3,4,5,6位のチームでTabMが使⽤ TabMとデータコンペ Taskによっては、選択肢の1つになりえている -
References Gorishniy, Y., Kotelnikov, A., & Babenko, A. (2025). 「TabM:
Advancing Tabular Deep Learning with Parameter-Efficient Ensembling」.International Conference on Learning Representations (ICLR) 2025. https://arxiv.org/abs/2410.24210 Wen, Y., Tran, D., & Ba, J. (2020). 「BatchEnsemble: An Alternative Approach to Efficient Ensemble and Lifelong Learning」.International Conference on Learning Representations (ICLR) 2020 https://arxiv.org/abs/2002.06715 CIBMTR - Equity in post-HCT Survival Predictions https://www.kaggle.com/competitions/equity-post-HCT-survival-predictions/overview