binary label ▶ G ⊂ {g : X → R} a set of classification functions ▶ H = {sign ◦ g | g ∈ G} : hypothesis set Definition 1 (margin, margin loss) 判別関数 g ∈ G と data (x, y) ∈ X × Y に対して yg(x) を margin という. また, 非負値関数 ϕ : R → R≥0 に対して g の margin loss を ϕ(yg(x)) で定 義する. Example 1 (0-1 margin loss) m ∈ R に対して ϕerr : m → 1[m ≤ 0] で定義される margin loss を考える. 0-1 loss ℓerr (sign(g(x)), y) = +1 if sign(g(x)) = y 0 otherwise に対して, ℓerr (sign(g(x)), y) = ϕerr (yg(x)) if g(x) = 0 ≤ ϕerr (0) = 1 if g(x) = 0 が成立. 6
2 log η 1 − η = η exp − 1 2 log η 1 − η + (1 − η) exp 1 2 log η 1 − η = η η 1 − η −1/2 + (1 − η) η 1 − η 1/2 = η × 1 − η η + (1 − η) × η 1 − η = 2 η(1 − η) となり, ψ(θ) = ϕ(0) − H 1 + θ 2 = 1 − 1 − θ2 を得る ([0, 1] 上 strictly monotone increase) 33
to statistical learning theory. In Advanced lectures on machine learning, pages 169–207. Springer, 2004. [2] Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar. Foundations of machine learning. MIT press, 2012. [3] Shai Shalev-Shwartz and Shai Ben-David. Understanding machine learning: From theory to algorithms. Cambridge university press, 2014. [4] 金森敬文. 統計的学習理論 (機械学習プロフェッショナルシリーズ). 講談社, 2015. 50