Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NGBoost: Natural Gradient Boosting for Probabilistic Prediction

87c236e94282fcf81192203e84a6e784?s=47 lib-arts
January 29, 2020

NGBoost: Natural Gradient Boosting for Probabilistic Prediction

NGBoostについて取り扱った論文の"NGBoost: Natural Gradient Boosting for Probabilistic Prediction"の解説用資料の公開版です。
https://arxiv.org/abs/1910.03225
詳細版を確認されたい方は、下記よりご購入いただけますのでご確認ください。
https://note.com/lib_arts/n/nc20796ce6ab8

87c236e94282fcf81192203e84a6e784?s=128

lib-arts

January 29, 2020
Tweet

Transcript

  1. NGBoost: Natural Gradient Boosting for Probabilistic Prediction 1 SOK@LiberalArtsCommunity Copyright

    @ Liberal Arts Community. All Rights Reserved.
  2. Copyright @ Liberal Arts Community. All Rights Reserved. 目次 •

    自己紹介 • 論文概観 • 論文詳細 • Introduction • Proper Scoring Rules • The Generalized Natural Gradient • Gradient Boosting • NGBoost • まとめ • 参考文献 • 宣伝 2
  3. 自己紹介 3 Copyright @ Liberal Arts Community. All Rights Reserved.

  4. Copyright @ Liberal Arts Community. All Rights Reserved. 自己紹介 twitter:

    @sokei14 東京大学大学院数理科学研究科修士課程修了。専門は複素幾何学。 その後、メガバンクでクオンツとして市場リスク管理業務に従事。 現在はベンチャーでAI融資審査モデルの開発に携わる。AIで金融サービスの 変革を夢見る機械学習エンジニア。 4
  5. 論文概観 5 Copyright @ Liberal Arts Community. All Rights Reserved.

  6. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 Abstract

    6 • 不確実性の予測は重要だが,これまでの勾配ブースティングで はこれに対応できていない. • そのため,不確実性の予測に対応した勾配ブースティングアル ゴリズムNGBoostを提案する. • NGBoostは3つで構成される. • base learner • probability distribution • scoring rule
  7. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 構成は次の通りです.

    1. Introduction 2. Natural Gradient Boosting 3. Experiments 4. Related Work 5. Conclusions 2を中心に解説します. 7
  8. Copyright @ Liberal Arts Community. All Rights Reserved. 論文概観 2.1

    Proper Scoring Rules ➢スコア関数の基本事項について解説 ➢スコア関数は予測した確率分布の精度として,コスト関数に使われる 2.2 The Generalized Natural Gradient ➢自然勾配法について解説 ➢自然勾配法をKLダイバージェンス以外に拡張した一般自然勾配法についての解説 2.3 Gradient Boosting ➢勾配Boostingについての解説 ➢これまでの勾配Boostingでの問題点等についてもまとめられている 2.4 NGBoost: Natural Gradient Boosting ➢メイン部分.NGBoostのアルゴリズムについて解説 2.5 Qualitative Analysis and Discussion ➢従来の勾配BoostingとNGBoostの比較まとめ 8
  9. 論文詳細 9 Copyright @ Liberal Arts Community. All Rights Reserved.

  10. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Inroduction

    NGBoostの3つの構成要素 1. Base learner 基礎となるアルゴリズム.決定木など. 2. Parametric probability distribution 出力する確率分布.正規分布、ラプラス分布など. 3. Scoring rule スコア関数.MLE、CRPSなど. 10
  11. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Inroduction

    NGBoostの3つの構成要素とパラメータ更新の様子 11
  12. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules ここではscoring ruleの基本事項について述べる. をインプットデータ,を予測したい特徴量とする. 我々が興味があるのはスカラー関数 [|] の近似. 12
  13. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules 定義(Proper Scoring Rules) ある実数値関数がproper scoring ruleであるとは ∼ , ≤ ∼ , ∀ が成り立つときにいう. ここで,はの真の確率分布で,はその他の確率分布(例えば,モデル が予測した の確率分布) このセミナーではproper scoring ruleをスコア関数と呼ぶことにする. 13
  14. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules 定義(Divergence) スコア関数の下での確率分布, のDivergenceは次で定義される. || ≔ ∼ , − ∼ , 14
  15. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules 例1: log score (MLE) スコア関数で最もよく使われるのはlog score ℒで ℒ ≔ − log ここで,は確率分布のパラメータ(以下も同様). 15
  16. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules 例1: log score (MLE) MLEのdivergenceはKullback-Leibler divergence(以下、KL)となる. 実際 ℒ || = ∼ ℒ , − ∼ ℒ , = ∼ − log − ∼ − log = ∼ log = ׬ ⋅ log =: || 16
  17. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules 例2: CRPS(Continuous Ranked Probability Score) CRPSはMLEに比べロバストと考えられているスコア関数.但し,実の場合 しか適用できない. CRPS は次のように定義される. , = න −∞ 2 + න ∞ 1 − 2 ここで, は の累積分布関数. 17
  18. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~Proper

    Scoring Rules 例2: CRPS(Continuous Ranked Probability Score) CRPSのdivergenceは2 divergenceとなる.実際 || = ∼ , − ∼ , = ∼ ׬ −∞ 2 + ׬ ∞ 1 − 2 −∼ ׬ −∞ 2 + ׬ ∞ 1 − 2 = ׬ −∞ ∞ ׬ −∞ 2 + ׬ ∞ 1 − 2 − ׬ −∞ ∞ ׬ −∞ 2 + ׬ ∞ 1 − 2 = ⋯ = ׬ −∞ ∞ − 2 =:ℒ2 || 18
  19. Copyright @ Liberal Arts Community. All Rights Reserved. 論文詳細 ~The

    Generalized Natural Gradient 自然勾配法・一般化自然勾配法について説明する. まず,一般の勾配法から説明する. スコア関数を各パラメータで偏微分して与えられる勾配(ordinary gradient)を∇ , とかく. ∇ , はスコア関数の値を最も大きく上昇させる方向ベクトルになる.つまり ∇ , ∝ lim →0 argmax: = + , (∗) これが一般の勾配法. (*)上の式が成り立つためにはlimが存在しないとダメで,論文の定義だと存在するかは非自明に思えるが,その辺 は今回は気にしないでおく. 19