Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Stochastic Gradient Boostingについて

Stochastic Gradient Boostingについて

社内の論文読み会資料

Shinichi Takayanagi

January 27, 2016
Tweet

More Decks by Shinichi Takayanagi

Other Decks in Research

Transcript

  1. Whatʼ’s  this? •  加法モデルの1つ – Gradient  Boostingの拡張版 – モデルを学習させる際に”データをサンプリン グして使う(全部使わない)”というだけ •  Gradient

     Boostingの特徴 – モデル  =  決定⽊木の⾜足しあげ – pseudoな誤差(損失関数の勾配)に対してモデ ルを当てはめる 2
  2. まとめ •  Stochastic  Gradient  Boosting    =  Gradient  Boosting+標本サンプリング • 

    Gradient  Boostingの特徴 – 最適化問題を⼆二段階に分けて解く • 第⼀一弾:勾配⽅方向になるような学習器を最適化計算 – データが有限なので厳密計算を諦めて近似 • 第⼆二弾:1を既存の学習器に追加する際の係数を最 適化 3