2 ℎ 2 + 1 2 2 + wに関する 一次のペナルティ xgboostのパラメータとの関係 • eta: 木の完成後、求めたwを前の予測値にそのまま足す のではなく、etaを掛けた上で足す(少しずつ改善していく) • gamma: 得られるgainがgamma以上ないと分岐NG • min_child_weight: σ ℎ が指定値以上無いと分岐NG (二乗誤差の場合は単純にサンプル数) • max_delta_step: 求めたwの絶対値がこれ以上だとcapさ れる • lambda: 左の通り(wに関する2次の正則化) • alpha: 左の通り(wに関する1次の正則化) XGBoostのアルゴリズムの概説 一般には ∆ ≈ =1 + 1 2 ℎ 2 + 1 2 2 二乗誤差の場合はイコールだが、 一般の場合には二次近似 最もlossを最小化するwの値は、 さっきの例(二乗誤差)の場合 = − σ , − + ∆ = − 1 2 σ , − 2 + これを上式に代入すると、 ∆ = =1 , − + 1 2 2 + 1 2 2 ∆ ≈ − 1 2 σ 2 σ ℎ + これを上式に代入すると、 = − σ σ ℎ + : grad ℎ : hess 上の近似の下で、最適解は、 (サンプルi)