Upgrade to Pro — share decks privately, control downloads, hide ads and more …

『画像認識』第5章「分類」輪読会資料 / Image Recognition Chapter 5

『画像認識』第5章「分類」輪読会資料 / Image Recognition Chapter 5

「画像認識」(講談社、機械学習プロフェッショナルシリーズ)の勉強会発表資料_第5章

Shotaro Ishihara

November 17, 2017
Tweet

More Decks by Shotaro Ishihara

Other Decks in Technology

Transcript

  1. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 3
  2. タスク • ⼊⼒画像から⽣成された特徴ベクトルにクラスを付与 4 ⼊ ⼒ 画 像 サ ン

    プ リ ン グ と 記 述 統 計 的 特 徴 抽 出 コ デ ィ ン グ プ リ ン グ 分 類 器 ク ラ ス
  3. 6 分類問題への3つのアプローチ 訓練データ $ クラス割り当て 推論 C.M.ビショップ: パターン認識と機械学習 上, 丸善出版,

    pp. 37-45 ,2017. ($ ) $ 決定 + →決定理論を⽤いたアプローチ →そうでないアプローチ(識別関数を⽤いる)
  4. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 7
  5. 9 損失 • 損失 $ | = ∑ $ ,

    - - | ./ -01 • 損失関数 $ , - • クラス- をクラス$ と判断した時の損失の⼤きさ • 事後確率 - | • ⼊⼒に対してクラス- と判断する確率
  6. 12 例:0-1損失 • $ | = ∑ 1 − $-

    - ./ -01 = ∑ - -<$ = 1 − $ • この損失の期待値 Ε5 1 − $ を最⼩にする ⟹ 事後確率 $ を最⼤にする(最⼤事後確率則) • に対する事後確率が最⼤となるクラスに分類する
  7. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 14
  8. 16 識別関数の教師付き学習(5.4節) • 訓練データ(⼊⼒ベクトル G ,対となる情報 G )から、 損失を最⼩化するようなパラメータを推定する •

    実際には「過学習」を防ぐため、以下のような式を最⼩化する のが⼀般的 • = 1 . ∑ G ; , G . G01 + 損失 ペナルティ : 損失とペナルティのどちらに 重きを置くかの度合い
  9. 24 線形識別関数 • 2クラス分類の場合: • = W + • ≥

    0 → クラス1 • < 0 → クラス2 • a = argmax f ⇒ ∈ f
  10. 25 線形識別関数 • 多クラス分類の場合(one-vs-one): • $,- = W + •

    $,- ≥ 0 → クラス • $,- < 0 → クラス • aは最も多くの票を集めたクラス(総数f f[1 Z 票)
  11. 26 線形識別関数 • 多クラス分類の場合(one-vs-rest): • $ = W + •

    $ ≥ 0 → ∈ $ • $ < 0 → ∉ $ • a = argmax f ⇒ ∈ f
  12. 28 内積の意味 重みベクトル • ⋅ = cos • − s

    Z < < s Z のとき正、 s Z < < ts Z のとき負になる
  13. 33 Adalineでの更新式 • 勾配降下法を⽤いる(実⽤的には確率的勾配降下法) • ← − − − W

    • 問題点: • 2乗損失では、決定境界から離れた訓練データの影響が⼤きくなる
  14. 34 サポートベクトルマシン • ヒンジ損失を⽤いる • max (0, 1 − W)

    • 正しく分類できていても、決定境界に近い場合には損失を与える • = max 0, 1 − W + | |Z -1 1 W 1 0 ヒンジ損失 0-1損失
  15. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 42
  16. 45 ロジスティック回帰 • = 1 1Q{|} ([U~5) = W •

    定義域が−∞から∞、値域が0から1 • 1 = W • Z = 1 − W 0.5 1.0 W
  17. 46 ロジスティック回帰での更新式 • = −ln • 尤度 = ∏ 1

    | ƒ„ Z | 1[ƒ„ (G ∈ 0,1 ) . G01 • 勾配降下法やニュートン法を⽤いる • PQ1 ← P − U P • PQ1 ← P − U [1 P U P
  18. 48 ソフトマックス回帰での更新式 • = −ln • 尤度 = ∏ ∏

    - G Š ƒ„0- ./ G01 . G01 • 指⽰関数 ⋅ : true = 1, false = 0 • 勾配降下法やニュートン法を⽤いる • PQ1 ← P − U P • PQ1 ← P − U [1 P U P
  19. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 49
  20. 50 ⽣成的アプローチ • 訓練データから、⼊⼒を⽣成する規則(確率分布)を推定 • ベイズの定理を使⽤ $ = • $

    • Ž† • 5 ∝ $ $ • 事前確率 $ : 訓練データ内の割合で近似することが多い • 条件付き確率 $ : 訓練データからベイズ推定法などで計算することが多 い • 確率分布の推定は⼀般に困難で、分類精度は⾼くない • 近年、画像⽣成の分野で発展が著しい(VAE, GANなど)
  21. 51 密度推定/⽣成的アプローチ • = ∫ ℛ (を含む⼩さい領域ℛに割り当てられた確率) • ≃ (全体の総数をとした場合のℛ内の個数)

    • ≃ ( が⼀定と近似できるほど体積が⼩さい時) • ∴ = ˜ ™ = š .™ • を固定しを推定(K近傍密度推定) • を固定しを推定(カーネル密度推定)
  22. 52 K近傍法密度推定 • 超球の体積 = s › œ•œ ž ›

    œ Q1 • : 訓練データが個含まれる超球の半径 • Γ: ガンマ関数 Γ = ∫ |¢[1[5| ¤ ¥ • $ = f¦† .¦† ™ で推定 • $ ∝ $ $ = f¦† .¦† ™ ⋅ .¦† . ∝ Ž† $ の⼤きさは$ に属する 訓練データの数に⽐例する
  23. 54 カーネル密度推定 • 超⽴⽅体の体積 = ℎ¨(ℎ: バンド幅) • に⼊る標本数 =

    ∑ 5[5† © $:ª†0ª • $ = 1 .¦† ™ ∑ 5[5† © $:ª†0ª で推定 • カーネル関数 , $ には、ガウスカーネルがよく⽤いられる • $ ∝ $ $ = 1 .¦† ™ ∑ 5[5† © $:ª†0ª ⋅ .¦† . ∝ ∑ 5[5† © $:ª†0ª
  24. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 56
  25. 57 正解率 • 正解率= 分類が当たった数 全データ数 • 問題点 • クラス1が1%、クラス2が99%のデータ群(ガンの判定など)

    • 「全部クラス2と分類する分類器」→正解率99% • 「クラス1にも分類しようとする分類器」→正解率99%より低いことも…
  26. 58 評価指標 • 精度(precision)= • 再現率(recall)= • F値= Z×}-{®¯°¯±²×-{®³´´ }-{®¯°¯±²Q-{®³´´

    検索結果の「再現率」と「適合率」, http://d.hatena.ne.jp/Zellij/20120214/p1
  27. 59 AUC(Area Under the Curve) precision 1 - recall ←理想的な曲線

    ←実際の曲線 AUC • ⼤きいほど良い分類器
  28. 本⽇の内容 • 分類とは(5.1節+@) • ベイズ決定則(5.2節) • 識別関数(5.3, 5.4, 5.5, 5.6,

    5.9節) • 識別的アプローチ(5.8節) • ⽣成的アプローチ(5.7節) • 分類結果の評価(5.10節) • まとめ 61
  29. 64 テイラー展開 • = ¥ + µ ¥ − ¥

    + 1 Z! µµ ¥ − ¥ Z + ⋯ • = ¥ + ℎと置くと、以下のように表現できる • ¥ + ℎ = ¥ + µ ¥ ℎ + 1 Z! µµ ¥ ℎZ + ⋯
  30. 65 ⾏列のテイラー展開 • P + = P + U P

    ⋅ + 1 Z! U Z P ⋅ Z = P + U W P + 1 Z U P Z = P + U W P + 1 Z U P W = P + U W P + 1 2 WU P (∗) U P = U W P
  31. 69 Generative Adversarial Networks (GAN)* * Generative Adversarial Nets. Ian

    J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio. arXiv:1406.2661. In NIPS 2014. [Figure] https://www.slideshare.net/xavigiro/deep-learning-for- computer-vision-generative-models-and-adversarial-training-upc- 2016 • 近年注⽬を集める(画像の) ⽣成的アプローチ • ⽣成器(⽣成的アプローチ) と識別器(識別関数を⽤いた アプローチ)を戦わせて、 ⽣成精度を向上させる