Upgrade to Pro — share decks privately, control downloads, hide ads and more …

正則化とロジスティック回帰/machine-learning-lecture-regulari...

 正則化とロジスティック回帰/machine-learning-lecture-regularization-and-logistic-regression

GMOペパボ新卒研修2020 機械学習入門 補足資料#04 #05

Hiroka Zaitsu

July 16, 2020
Tweet

More Decks by Hiroka Zaitsu

Other Decks in Technology

Transcript

  1. 4 Machine Learning Crash Course says... 4 > this generalization

    curve shows that the model is overfitting to the data in the training set.
 
 > we could prevent overfitting by penalizing complex models, a principle called regularization.
 
 Regularization for Simplicity - Machine Learning Crash Course 

  2. 7 特徴量が多次元のデータセットの回帰 7 Boston Housing データセット
 - データポイント506個
 - 特徴量13個


    - Feature Crossで103個に
 
 - training loss が下がっている
 - 既知のデータを推論できる
 - validation loss が上がっている
 - 未知のデータを推論できない
 
 パラメータが過剰適合(過学習)した
 汎化性能が低いモデル

  3. 10 誤差関数にパラメータのノルムを加える 10 - 誤差関数に制約条件を加える
 a. トレーニングデータに対する推論の誤差を小さくする(既存の条件)
 b. パラメータのノルムを小さくする
 -

    個別の特徴量が出力に与える影響が小さくなる
 - トレーニングデータに対する性能が下がるが汎化性能が上がる
 - L2ノルムで正則化するとリッジ回帰(Ridge Regression)
 - L1ノルムで正則化するとラッソ回帰(Lasso Regression)
 制約条件a
 制約条件b

  4. 14 まとめ - 正則化によりモデルの複雑度を下げて汎化性能を上げる
 - L2正則化とL1正則化
 - L2正則化
 - パラメータの絶対値が小さくなる


    - 解析的に解ける(微分可能)
 - L1正則化
 - パラメータの一部が0になる
 - 特徴量選択に利用できる
 - 解析的に解けないので推定で求める
 - L2正則化とL1正則化を組み合わせた ElasticNet もある
 - いずれかの正則化が常に優れているということはない
 14
  5. 17 線形回帰の拡張 17 現実にはカテゴリデータの y が存在
 - 犬が吠える/吠えない
 - 都道府県


    
 機械学習ではカテゴリデータを
 マッピングした数値データを扱う
 - 犬が吠える/吠えない = 1/0
 - 都道府県 = 0 ~ 46

  6. 18 カテゴリデータをマッピングした y を線形回帰すると... 18 都道府県 { y ∈ N

    | 0 ≦ y ≦ 46 } の場合
 x の値によって y' ≧ 47 になる 
 
 - カテゴリデータ y の値は x の値により 線形に変化しない
 - カテゴリデータをマッピングした
 数値に数値としての意味はない
 - カテゴリデータは線形回帰できない
 
 

  7. 21 シグモイド関数 21 - ロジスティック回帰の出力である確率
 - 0から1の範囲を取る値
 - ロジスティック関数の x

    に線形回帰の y' をとったもの
 - 閾値と比較して分類に用いる
 - 閾値0.5, p=0.8のときの推論は
 「犬が吠える」
 
 Logistic-curve.png - Wikimedia Commons
 

  8. 22 ロジスティック回帰の誤差関数(1) 22 - ロジスティック回帰の y はカテゴリデータ
 - y の変化量が定まらないので最小二乗法が使えない


    - 数値 x が1変化した時のカテゴリ y の変化量?
 - 二値のカテゴリ変数は確率変数 k をとるベルヌーイ分布に従う
 - 「ある事象が起きる」/「起きない」
 - 多値分類の場合はある値とそれ以外の値の二値分類の組み合わせ

  9. 24 まとめ 24 - ロジスティック回帰ではカテゴリデータを扱うために線形回帰を拡張する
 - 線形回帰の出力をロジスティック関数で変換して確率として扱う
 - ロジスティック関数の x

    に線形回帰の出力を取るシグモイド関数
 - 出力される確率に閾値を定めて分類問題に利用する
 - ロジスティック回帰のパラメータθは最尤法により求める
 - 数値 x が1変化した時のカテゴリ y の変化量を求めづらいため
 - 機械学習では負の対数尤度を誤差として利用する