Slide 8
Slide 8 text
本分析では、リッジ回帰、lasso をそのまま用いるのではなく、両者の折衷案であるエラステ
ィックネット（式(8)）を用い、交差確認法により適切なハイパーパラメータ（α,λ）を選択し
た28,29。
𝛽𝑒𝑙𝑎𝑠𝑡𝑖𝑐 𝑛𝑒𝑡 = argmin
𝛽
{∑ (𝑦𝑖
− 𝛽0
− ∑ 𝑥𝑖𝑗
𝛽𝑗
𝑝
𝑗=1
)2 + 𝜆 ∑ (𝛼𝛽𝑗
2 + (1 − 𝛼)|𝛽𝑗
|)
𝑝
𝑗=1
𝑁
𝑖=1
} (8)
③ サポートベクトル回帰（変数選択なし）
サポートベクトル回帰は、(9)式の制約の下、(10)式を解くことにより表現される30。(10)式の
第一項は損失関数、第二項は正則化項、
（ε,β,λ）はハイパーパラメータである。サポートベク
トル回帰の特徴として、赤穂[2008]は、パラメータαの次元はサンプル数と同じであり、サンプ
ル数が多いほど複雑な関数を表現できること、説明変数については、カーネル関数を用いている
ため、非線形な関数を実現できること、さらに(10)式の損失関数は、二乗誤差に比べて、外れ値
に対してロバストであること等を指摘している31。
𝜉𝑖
≥ 𝑦(𝑖) − 𝑓(𝒙(𝑖)) − ε, 𝜉𝑖
≥ 0, 𝜉𝑖
≥ −(𝑦(𝑖) − 𝑓(𝒙(𝑖))) − ε (9)
min
𝝃,𝜶
∑ 𝜉𝑖
𝑛
𝑖=1
+ 𝜆
2
𝜶𝑡𝑲𝜶 (10)
28 Hastie ら[2014]は、
「エラスティックネットは、lasso のように変数を選択し、リッジ回帰のように相関のある予
測変数を同時に縮小させる」と指摘している。
29 交差確認の結果、本分析では、リッジ回帰（α=1）が選択された。
30 (9)、(10)式の各関数は以下の通り。第二式がカーネル関数であり、本分析ではガウスカーネルを用いた。
f(𝐱) = ∑ 𝛼𝑖
𝑘(𝒙(𝑖), 𝒙)
𝑛
𝑖=1
k(𝒙, 𝒙′) = exp (−β‖𝒙 − 𝒙′‖2)
𝜉𝑖
= 𝑟𝜀
(𝑦(𝑖) − 𝑓(𝒙(𝑖)))
𝑟𝜀
(z) = z − ε (ε ≤ z ), 0(−ε ≤ z < ε ), − z − ε (z < −ε )
31 そのほか、田村ら[2018]は、サポートベクトル回帰では説明変数間の交互作用が自動的に対処されるため、交差項
の追加が不要であることを指摘している。