正則化とロジスティック回帰/machine-learning-lecture-regularization-and-logistic-regression

Transcript

1. 1 正則化と
 ロジスティック回帰
 ペパボ研究所 財津大夏
 新卒研修 機械学習入門 補足資料 #04 #05


2. 2 2 正則化
 ロジスティック回帰


3. 3 正則化
 Section 1
 3 Regularization


4. 4 Machine Learning Crash Course says... 4 > this generalization

   curve shows that the model is overfitting to the data in the training set.
 
 > we could prevent overfitting by penalizing complex models, a principle called regularization.
 
 Regularization for Simplicity - Machine Learning Crash Course 


5. 5 回帰におけるモデルの複雑度 5 特徴量が1次元のデータセット
 - モデル（線形関数）は直線
 - 既知のデータをそこそこ説明出来る
 - 未知のデータに頑健


   - モデルの複雑度が低い


6. 6 回帰におけるモデルの複雑度 6 特徴量が多次元のデータセット
 - データ数 < 特徴量の次元数の場合既 知のデータを完全に説明できる
 -

   未知のデータに脆弱
 - モデルの複雑度が高い
 
 
 Overfitted Data.png - Wikimedia Commons
 


7. 7 特徴量が多次元のデータセットの回帰 7 Boston Housing データセット
 - データポイント506個
 - 特徴量13個


   - Feature Crossで103個に
 
 - training loss が下がっている
 - 既知のデータを推論できる
 - validation loss が上がっている
 - 未知のデータを推論できない
 
 パラメータが過剰適合（過学習）した
 汎化性能が低いモデル


8. 8 正則化
 8

9. 9 過学習を防ぐためのアプローチ 9 - 過学習したモデルはトレーニングデータに過剰適合したパラメータを持つ
 - 誤差関数にトレーニングデータ以外の制約を加えて過学習を防ぐ
 - 特徴量のパラメータ自体を小さくするように学習させる
 -

   パラメータの大きさはノルムで表現できる
 
 w1
 w2
 L1ノルム
 L2ノルム
 n=2 のとき


10. 10 誤差関数にパラメータのノルムを加える 10 - 誤差関数に制約条件を加える
 a. トレーニングデータに対する推論の誤差を小さくする（既存の条件）
 b. パラメータのノルムを小さくする
 -

    個別の特徴量が出力に与える影響が小さくなる
 - トレーニングデータに対する性能が下がるが汎化性能が上がる
 - L2ノルムで正則化するとリッジ回帰（Ridge Regression）
 - L1ノルムで正則化するとラッソ回帰（Lasso Regression）
 制約条件a
 制約条件b


11. 11 L2正則化した誤差関数の導関数 11

12. 12 L2正則化による誤差とパラメータの分布の変化 12

13. 13 L1正則化による誤差とパラメータの分布の変化 13

14. 14 まとめ - 正則化によりモデルの複雑度を下げて汎化性能を上げる
 - L2正則化とL1正則化
 - L2正則化
 - パラメータの絶対値が小さくなる


    - 解析的に解ける（微分可能）
 - L1正則化
 - パラメータの一部が0になる
 - 特徴量選択に利用できる
 - 解析的に解けないので推定で求める
 - L2正則化とL1正則化を組み合わせた ElasticNet もある
 - いずれかの正則化が常に優れているということはない
 14

15. 15 ロジスティック回帰
 Section 2
 15 Logistic Regression


16. 16 - y' と x の間に線形関係を仮定
 - 数値データから数値データを
 推論するのが線形回帰
 線形回帰のおさらい

    16

17. 17 線形回帰の拡張 17 現実にはカテゴリデータの y が存在
 - 犬が吠える/吠えない
 - 都道府県


    
 機械学習ではカテゴリデータを
 マッピングした数値データを扱う
 - 犬が吠える/吠えない = 1/0
 - 都道府県 = 0 ~ 46


18. 18 カテゴリデータをマッピングした y を線形回帰すると... 18 都道府県 { y ∈ N

    | 0 ≦ y ≦ 46 } の場合
 x の値によって y' ≧ 47 になる 
 
 - カテゴリデータ y の値は x の値により 線形に変化しない
 - カテゴリデータをマッピングした
 数値に数値としての意味はない
 - カテゴリデータは線形回帰できない
 
 


19. 19 やりたいこと 19 カテゴリデータで表現される y を推論したい
 
 ロジスティック回帰の方針
 1. 事象が起きる確率

    p を出力する
 2. p を任意の閾値と比較することで y' を推論する
 
 


20. 20 やりたいこと 20 線形回帰の出力である実数を確率にしたい
 
 ロジスティック関数 g(x) を使って実数 x を

    0 < g(x) < 1 に押し込める


21. 21 シグモイド関数 21 - ロジスティック回帰の出力である確率
 - 0から1の範囲を取る値
 - ロジスティック関数の x

    に線形回帰の y' をとったもの
 - 閾値と比較して分類に用いる
 - 閾値0.5, p=0.8のときの推論は
 「犬が吠える」
 
 Logistic-curve.png - Wikimedia Commons
 


22. 22 ロジスティック回帰の誤差関数(1) 22 - ロジスティック回帰の y はカテゴリデータ
 - y の変化量が定まらないので最小二乗法が使えない


    - 数値 x が1変化した時のカテゴリ y の変化量？
 - 二値のカテゴリ変数は確率変数 k をとるベルヌーイ分布に従う
 - 「ある事象が起きる」/「起きない」
 - 多値分類の場合はある値とそれ以外の値の二値分類の組み合わせ


23. 23 ロジスティック回帰の誤差関数(2) 23 - 最小二乗法ではなく最尤法を使う
 - 最も尤もらしい確率分布を求める
 - パラメータθに従う確率分布にデータが従っている度合いが尤度
 -

    尤度関数 L(θ) の対数を取って和の形にする（対数尤度関数）


24. 24 まとめ 24 - ロジスティック回帰ではカテゴリデータを扱うために線形回帰を拡張する
 - 線形回帰の出力をロジスティック関数で変換して確率として扱う
 - ロジスティック関数の x

    に線形回帰の出力を取るシグモイド関数
 - 出力される確率に閾値を定めて分類問題に利用する
 - ロジスティック回帰のパラメータθは最尤法により求める
 - 数値 x が1変化した時のカテゴリ y の変化量を求めづらいため
 - 機械学習では負の対数尤度を誤差として利用する