Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Stochastic Gradient Boostingについて
Search
Shinichi Takayanagi
January 27, 2016
Research
3
2.9k
Stochastic Gradient Boostingについて
社内の論文読み会資料
Shinichi Takayanagi
January 27, 2016
Tweet
Share
More Decks by Shinichi Takayanagi
See All by Shinichi Takayanagi
論文紹介「Evaluation gaps in machine learning practice」と、効果検証入門に関する昔話
stakaya
0
780
バイブコーディングの正体——AIエージェントはソフトウェア開発を変えるか?
stakaya
5
1.2k
[NeurIPS 2023 論文読み会] Wasserstein Quantum Monte Carlo
stakaya
0
540
[KDD2021 論文読み会] ControlBurn: Feature Selection by Sparse Forests
stakaya
2
1.9k
[ICML2021 論文読み会] Mandoline: Model Evaluation under Distribution Shift
stakaya
0
2k
[情報検索/推薦 各社合同 論文読み祭 #1] KDD ‘20 "Embedding-based Retrieval in Facebook Search"
stakaya
2
630
【2020年新人研修資料】ナウでヤングなPython開発入門
stakaya
29
21k
論文読んだ「Simple and Deterministic Matrix Sketching」
stakaya
1
1.2k
Quick Introduction to Approximate Bayesian Computation (ABC) with R"
stakaya
3
350
Other Decks in Research
See All in Research
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
9k
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
390
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
990
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
2
710
Remote sensing × Multi-modal meta survey
satai
4
500
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
390
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
62
32k
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
130
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
260
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
620
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
660
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
250
Featured
See All Featured
BBQ
matthewcrist
89
9.8k
Code Review Best Practice
trishagee
72
19k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
359
30k
Build your cross-platform service in a week with App Engine
jlugia
232
18k
Making the Leap to Tech Lead
cromwellryan
135
9.6k
Java REST API Framework Comparison - PWX 2021
mraible
34
8.9k
Designing Experiences People Love
moore
142
24k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
A better future with KSS
kneath
239
18k
We Have a Design System, Now What?
morganepeng
53
7.8k
Transcript
〜~論論⽂文輪輪読会〜~ Stochastic Gradient Boosting Jerome H. Friedman(1999) ⾼高柳柳慎⼀一
Whatʼ’s this? • 加法モデルの1つ – Gradient Boostingの拡張版 – モデルを学習させる際に”データをサンプリン グして使う(全部使わない)”というだけ • Gradient
Boostingの特徴 – モデル = 決定⽊木の⾜足しあげ – pseudoな誤差(損失関数の勾配)に対してモデ ルを当てはめる 2
まとめ • Stochastic Gradient Boosting = Gradient Boosting+標本サンプリング •
Gradient Boostingの特徴 – 最適化問題を⼆二段階に分けて解く • 第⼀一弾:勾配⽅方向になるような学習器を最適化計算 – データが有限なので厳密計算を諦めて近似 • 第⼆二弾:1を既存の学習器に追加する際の係数を最 適化 3
Gradient Boostingのモデル • モデルFはhという弱学習器の⾜足し上げ • 損失関数Ψを最⼩小化するように学習データ xから、βとhを決める 4
最適化計算 • 最適化はm=0から順に(stage-‐‑‒wise)決め ていく⽅方針を取る(これがいいという裏裏付 けはないっぽい) • F0を決めて、F1, F2, … FMと順に最適化
計算で決めていくということ 5
最適化計算のアイディア • 最適化計算を2ステップに分ける – aとβをばらばらにきめる • 第⼀一段階:勾配を学習器で近似(最適化) • 第⼆二段階:くっつけるときの係数を最適化 6
個々の学習器は回帰⽊木とする • 学習器 is 回帰⽊木 – 今までのaを{Rlm}と書いている – L個の終端ノードがある 7 1� 2…�
L� R1m R2m RLm 1:XΛͿͬ͜Ή 2:X͕Ϛον͢Δ RlmΛ୳͢ x͕RlmʹೖΔ yͷฏۉ
第⼀一段&第⼆二段の最適化 • 第⼀一段は普通にやれる • 第⼆二段は個々の終端ごとに最適化してOK – なぜならここの終端は独⽴立立/互いに素?なので – ∴並列列化できる! • これを今までの学習器に⾜足しこんで新しい 学習器とする
8
Gradient Boostingのアルゴリズム • アルゴリズムのまとめ 9
Stochastic Gradient Boostingのアルゴリズム • アルゴリズムのまとめ – データを全部使わない • (20%-‐‑‒50%程度度の使⽤用がふつうらしい) 10
なぜStochasticにするとよいのか? • 論論⽂文を読む限り・・・ – サンプリングで学習に使うデータが異異なる – 学習器間の相関が減る – ⼀一⽅方 • 全体の分散≒sum(個々の分散) + sum(相関) と書ける
– 相関が減るおかげで全体の分散が減る – Bias-‐‑‒Variance的に考えて汎化性能があがる 11