NGBoost: Natural Gradient Boosting for Probabilistic Prediction

NGBoostについて取り扱った論文の"NGBoost: Natural Gradient Boosting for Probabilistic Prediction"の解説用資料の公開版です。
https://arxiv.org/abs/1910.03225
詳細版を確認されたい方は、下記よりご購入いただけますのでご確認ください。
https://note.com/lib_arts/n/nc20796ce6ab8

Transcript

1. NGBoost: Natural Gradient Boosting for Probabilistic Prediction 1 SOK@LiberalArtsCommunity Copyright @ Liberal Arts Community. All Rights Reserved.
2. Copyright @ Liberal Arts Community. All Rights Reserved. 目次 • 自己紹介 • 論文概観 • 論文詳細 • Introduction • Proper Scoring Rules • The Generalized Natural Gradient • Gradient Boosting • NGBoost • まとめ • 参考文献 • 宣伝 2
3. 自己紹介 3 Copyright @ Liberal Arts Community. All Rights Reserved.
4. Copyright @ Liberal Arts Community. All Rights Reserved. 自己紹介 twitter: @sokei14 東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。 その後、メガバンクでクオンツとして市場リスク管理業務に従事。 現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの 変革を夢見る機械学習エンジニア。 4
5. 論文概観 5 Copyright @ Liberal Arts Community. All Rights Reserved.
6. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Abstract 6 • 不確実性の予測は重要だが，これまでの勾配ブースティングで はこれに対応できていない． • そのため，不確実性の予測に対応した勾配ブースティングアル ゴリズムNGBoostを提案する． • NGBoostは3つで構成される． • base learner • probability distribution • scoring rule
7. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 構成は次の通りです． 1. Introduction 2. Natural Gradient Boosting 3. Experiments 4. Related Work 5. Conclusions 2を中心に解説します． 7
8. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 2.1 Proper Scoring Rules ➢スコア関数の基本事項について解説 ➢スコア関数は予測した確率分布の精度として，コスト関数に使われる 2.2 The Generalized Natural Gradient ➢自然勾配法について解説 ➢自然勾配法をKLダイバージェンス以外に拡張した一般自然勾配法についての解説 2.3 Gradient Boosting ➢勾配Boostingについての解説 ➢これまでの勾配Boostingでの問題点等についてもまとめられている 2.4 NGBoost: Natural Gradient Boosting ➢メイン部分．NGBoostのアルゴリズムについて解説 2.5 Qualitative Analysis and Discussion ➢従来の勾配BoostingとNGBoostの比較まとめ 8
9. 論文詳細 9 Copyright @ Liberal Arts Community. All Rights Reserved.
10. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Inroduction NGBoostの3つの構成要素 1. Base learner 基礎となるアルゴリズム．決定木など． 2. Parametric probability distribution 出力する確率分布．正規分布、ラプラス分布など． 3. Scoring rule スコア関数．MLE、CRPSなど． 10
11. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Inroduction NGBoostの3つの構成要素とパラメータ更新の様子 11
12. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules ここではscoring ruleの基本事項について述べる． をインプットデータ，を予測したい特徴量とする． 我々が興味があるのはスカラー関数 [|] の近似． 12
13. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules 定義（Proper Scoring Rules） ある実数値関数がproper scoring ruleであるとは ∼ , ≤ ∼ , ∀ が成り立つときにいう． ここで，はの真の確率分布で，はその他の確率分布（例えば，モデル が予測した の確率分布） このセミナーではproper scoring ruleをスコア関数と呼ぶことにする． 13
14. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules 定義（Divergence） スコア関数の下での確率分布, のDivergenceは次で定義される． || ≔ ∼ , − ∼ , 14
15. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules 例1: log score (MLE) スコア関数で最もよく使われるのはlog score ℒで ℒ ≔ − log ここで，は確率分布のパラメータ（以下も同様）． 15
16. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules 例1: log score (MLE) MLEのdivergenceはKullback-Leibler divergence（以下、KL）となる． 実際 ℒ || = ∼ ℒ , − ∼ ℒ , = ∼ − log − ∼ − log = ∼ log = ׬ ⋅ log =: || 16
17. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules 例2: CRPS(Continuous Ranked Probability Score) CRPSはMLEに比べロバストと考えられているスコア関数．但し，実の場合 しか適用できない． CRPS は次のように定義される． , = න −∞ 2 + න ∞ 1 − 2 ここで， は の累積分布関数． 17
18. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper Scoring Rules 例2: CRPS(Continuous Ranked Probability Score) CRPSのdivergenceは2 divergenceとなる．実際 || = ∼ , − ∼ , = ∼ ׬ −∞ 2 + ׬ ∞ 1 − 2 −∼ ׬ −∞ 2 + ׬ ∞ 1 − 2 = ׬ −∞ ∞ ׬ −∞ 2 + ׬ ∞ 1 − 2 − ׬ −∞ ∞ ׬ −∞ 2 + ׬ ∞ 1 − 2 = ⋯ = ׬ −∞ ∞ − 2 =:ℒ2 || 18
19. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~The Generalized Natural Gradient 自然勾配法・一般化自然勾配法について説明する． まず，一般の勾配法から説明する． スコア関数を各パラメータで偏微分して与えられる勾配（ordinary gradient）を∇ , とかく． ∇ , はスコア関数の値を最も大きく上昇させる方向ベクトルになる．つまり ∇ , ∝ lim →0 argmax: = + , (∗) これが一般の勾配法． (*)上の式が成り立つためにはlimが存在しないとダメで，論文の定義だと存在するかは非自明に思えるが，その辺 は今回は気にしないでおく． 19