Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Stochastic Gradient Boostingについて
Search
Shinichi Takayanagi
January 27, 2016
Research
3
2.9k
Stochastic Gradient Boostingについて
社内の論文読み会資料
Shinichi Takayanagi
January 27, 2016
Tweet
Share
More Decks by Shinichi Takayanagi
See All by Shinichi Takayanagi
バイブコーディングの正体——AIエージェントはソフトウェア開発を変えるか?
stakaya
5
1.1k
[NeurIPS 2023 論文読み会] Wasserstein Quantum Monte Carlo
stakaya
0
530
[KDD2021 論文読み会] ControlBurn: Feature Selection by Sparse Forests
stakaya
2
1.9k
[ICML2021 論文読み会] Mandoline: Model Evaluation under Distribution Shift
stakaya
0
2k
[情報検索/推薦 各社合同 論文読み祭 #1] KDD ‘20 "Embedding-based Retrieval in Facebook Search"
stakaya
2
620
【2020年新人研修資料】ナウでヤングなPython開発入門
stakaya
29
21k
論文読んだ「Simple and Deterministic Matrix Sketching」
stakaya
1
1.2k
Quick Introduction to Approximate Bayesian Computation (ABC) with R"
stakaya
3
350
The Road to Machine Learning Engineer from Data Scientist
stakaya
5
4.4k
Other Decks in Research
See All in Research
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
100
集合間Bregmanダイバージェンスと置換不変NNによるその学習
wasyro
0
140
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.4k
Delta Airlines® Customer Care in the U.S.: How to Reach Them Now
bookingcomcustomersupportusa
0
110
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
360
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
860
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
1.5k
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
300
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
250
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
studio_graph
2
490
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
940
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
930
Featured
See All Featured
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Producing Creativity
orderedlist
PRO
347
40k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Navigating Team Friction
lara
189
15k
Balancing Empowerment & Direction
lara
3
620
Why Our Code Smells
bkeepers
PRO
339
57k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Six Lessons from altMBA
skipperchong
28
4k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Transcript
〜~論論⽂文輪輪読会〜~ Stochastic Gradient Boosting Jerome H. Friedman(1999) ⾼高柳柳慎⼀一
Whatʼ’s this? • 加法モデルの1つ – Gradient Boostingの拡張版 – モデルを学習させる際に”データをサンプリン グして使う(全部使わない)”というだけ • Gradient
Boostingの特徴 – モデル = 決定⽊木の⾜足しあげ – pseudoな誤差(損失関数の勾配)に対してモデ ルを当てはめる 2
まとめ • Stochastic Gradient Boosting = Gradient Boosting+標本サンプリング •
Gradient Boostingの特徴 – 最適化問題を⼆二段階に分けて解く • 第⼀一弾:勾配⽅方向になるような学習器を最適化計算 – データが有限なので厳密計算を諦めて近似 • 第⼆二弾:1を既存の学習器に追加する際の係数を最 適化 3
Gradient Boostingのモデル • モデルFはhという弱学習器の⾜足し上げ • 損失関数Ψを最⼩小化するように学習データ xから、βとhを決める 4
最適化計算 • 最適化はm=0から順に(stage-‐‑‒wise)決め ていく⽅方針を取る(これがいいという裏裏付 けはないっぽい) • F0を決めて、F1, F2, … FMと順に最適化
計算で決めていくということ 5
最適化計算のアイディア • 最適化計算を2ステップに分ける – aとβをばらばらにきめる • 第⼀一段階:勾配を学習器で近似(最適化) • 第⼆二段階:くっつけるときの係数を最適化 6
個々の学習器は回帰⽊木とする • 学習器 is 回帰⽊木 – 今までのaを{Rlm}と書いている – L個の終端ノードがある 7 1� 2…�
L� R1m R2m RLm 1:XΛͿͬ͜Ή 2:X͕Ϛον͢Δ RlmΛ୳͢ x͕RlmʹೖΔ yͷฏۉ
第⼀一段&第⼆二段の最適化 • 第⼀一段は普通にやれる • 第⼆二段は個々の終端ごとに最適化してOK – なぜならここの終端は独⽴立立/互いに素?なので – ∴並列列化できる! • これを今までの学習器に⾜足しこんで新しい 学習器とする
8
Gradient Boostingのアルゴリズム • アルゴリズムのまとめ 9
Stochastic Gradient Boostingのアルゴリズム • アルゴリズムのまとめ – データを全部使わない • (20%-‐‑‒50%程度度の使⽤用がふつうらしい) 10
なぜStochasticにするとよいのか? • 論論⽂文を読む限り・・・ – サンプリングで学習に使うデータが異異なる – 学習器間の相関が減る – ⼀一⽅方 • 全体の分散≒sum(個々の分散) + sum(相関) と書ける
– 相関が減るおかげで全体の分散が減る – Bias-‐‑‒Variance的に考えて汎化性能があがる 11