Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Stochastic Gradient Boostingについて
Search
Shinichi Takayanagi
January 27, 2016
Research
3
2.7k
Stochastic Gradient Boostingについて
社内の論文読み会資料
Shinichi Takayanagi
January 27, 2016
Tweet
Share
More Decks by Shinichi Takayanagi
See All by Shinichi Takayanagi
[NeurIPS 2023 論文読み会] Wasserstein Quantum Monte Carlo
stakaya
0
350
[KDD2021 論文読み会] ControlBurn: Feature Selection by Sparse Forests
stakaya
2
1.7k
[ICML2021 論文読み会] Mandoline: Model Evaluation under Distribution Shift
stakaya
0
1.9k
[情報検索/推薦 各社合同 論文読み祭 #1] KDD ‘20 "Embedding-based Retrieval in Facebook Search"
stakaya
2
500
【2020年新人研修資料】ナウでヤングなPython開発入門
stakaya
29
19k
論文読んだ「Simple and Deterministic Matrix Sketching」
stakaya
1
880
Quick Introduction to Approximate Bayesian Computation (ABC) with R"
stakaya
3
250
The Road to Machine Learning Engineer from Data Scientist
stakaya
5
3.9k
論文読んだ「Winner’s Curse: Bias Estimation for Total Effects of Features in Online Controlled Experiments」
stakaya
1
4.3k
Other Decks in Research
See All in Research
論文紹介: Generating News-Centric Crossword Puzzles As A Constraint Satisfaction and Optimization Problem
upura
0
140
株式会社リクルートホールディングス 企業分析
frandle256
0
110
Alternative Photographic Processes Reimagined: The Role of Digital Technology in Revitalizing Classic Printing Techniques【SIGGRAPH Asia 2023】
toremolo72
0
410
Breaking Tradeoffs: Extremely Scalable Multi-Agent Pathfinding Algorithms
kei18
0
120
音声処理ツールキットESPnetの現在と未来
kanbayashi1125
2
480
VAR モデルによる OSS プロジェクト同士が生存性に与える 影響の分析
noppoman
0
120
時系列解析と疫学
kingqwert
2
860
マルチモーダルLLMの応用動向の論文調査
masatoto
7
2.4k
Ground Metric Learning with applications in genomics
gpeyre
0
320
My Journey as a UX Researcher
aranciap
0
1.1k
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
300
LiDARセキュリティ最前線
kentaroy47
0
230
Featured
See All Featured
Thoughts on Productivity
jonyablonski
57
3.8k
GraphQLとの向き合い方2022年版
quramy
28
12k
Debugging Ruby Performance
tmm1
68
11k
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
StorybookのUI Testing Handbookを読んだ
zakiyama
10
4.5k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
28
5.9k
Happy Clients
brianwarren
91
6.3k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
19
1.9k
Embracing the Ebb and Flow
colly
78
4.1k
Raft: Consensus for Rubyists
vanstee
130
6.2k
How to Ace a Technical Interview
jacobian
272
22k
What's new in Ruby 2.0
geeforr
335
31k
Transcript
〜~論論⽂文輪輪読会〜~ Stochastic Gradient Boosting Jerome H. Friedman(1999) ⾼高柳柳慎⼀一
Whatʼ’s this? • 加法モデルの1つ – Gradient Boostingの拡張版 – モデルを学習させる際に”データをサンプリン グして使う(全部使わない)”というだけ • Gradient
Boostingの特徴 – モデル = 決定⽊木の⾜足しあげ – pseudoな誤差(損失関数の勾配)に対してモデ ルを当てはめる 2
まとめ • Stochastic Gradient Boosting = Gradient Boosting+標本サンプリング •
Gradient Boostingの特徴 – 最適化問題を⼆二段階に分けて解く • 第⼀一弾:勾配⽅方向になるような学習器を最適化計算 – データが有限なので厳密計算を諦めて近似 • 第⼆二弾:1を既存の学習器に追加する際の係数を最 適化 3
Gradient Boostingのモデル • モデルFはhという弱学習器の⾜足し上げ • 損失関数Ψを最⼩小化するように学習データ xから、βとhを決める 4
最適化計算 • 最適化はm=0から順に(stage-‐‑‒wise)決め ていく⽅方針を取る(これがいいという裏裏付 けはないっぽい) • F0を決めて、F1, F2, … FMと順に最適化
計算で決めていくということ 5
最適化計算のアイディア • 最適化計算を2ステップに分ける – aとβをばらばらにきめる • 第⼀一段階:勾配を学習器で近似(最適化) • 第⼆二段階:くっつけるときの係数を最適化 6
個々の学習器は回帰⽊木とする • 学習器 is 回帰⽊木 – 今までのaを{Rlm}と書いている – L個の終端ノードがある 7 1� 2…�
L� R1m R2m RLm 1:XΛͿͬ͜Ή 2:X͕Ϛον͢Δ RlmΛ୳͢ x͕RlmʹೖΔ yͷฏۉ
第⼀一段&第⼆二段の最適化 • 第⼀一段は普通にやれる • 第⼆二段は個々の終端ごとに最適化してOK – なぜならここの終端は独⽴立立/互いに素?なので – ∴並列列化できる! • これを今までの学習器に⾜足しこんで新しい 学習器とする
8
Gradient Boostingのアルゴリズム • アルゴリズムのまとめ 9
Stochastic Gradient Boostingのアルゴリズム • アルゴリズムのまとめ – データを全部使わない • (20%-‐‑‒50%程度度の使⽤用がふつうらしい) 10
なぜStochasticにするとよいのか? • 論論⽂文を読む限り・・・ – サンプリングで学習に使うデータが異異なる – 学習器間の相関が減る – ⼀一⽅方 • 全体の分散≒sum(個々の分散) + sum(相関) と書ける
– 相関が減るおかげで全体の分散が減る – Bias-‐‑‒Variance的に考えて汎化性能があがる 11