Upgrade to Pro — share decks privately, control downloads, hide ads and more …

はじめてのパターン認識読書会 #11 部分空間法

はじめてのパターン認識読書会 #11 部分空間法

E77287648aff5484ac7659748e45c936?s=128

KOMIYA Atsushi

February 04, 2014
Tweet

Transcript

  1. はじめての パターン認識 読書会 #11 Chap.9 部分空間法 KOMIYA Atsushi (@komiya_atsushi )

    2014.2.4 http://connpass.com/event/4978/
  2. by Allert Aalders http://www.flickr.com/photos/50553647@N00/424644321/ 今日は 「9.1 部分空間」 「9.2 主成分分析」 の発表です

    2
  3. 数式の解説は 難しいので 諦めました すみません>< 3

  4. by ume-y http://www.flickr.com/photos/29989965@N00/2881945138/ 部分空間 の定義的なもの 4

  5. 部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の

    1 次独立な ベクトル 1 , 2 , … , を1次結合するこ とで表現されるベクトルすべての集合で ある 5
  6. 部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の

    1 次独立な ベクトル 1 , 2 , … , を1次結合するこ とで表現されるベクトルすべての集合で ある 6
  7. 部分空間:もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な

    3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね? → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 7
  8. 部分空間:もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な

    3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね? → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 8
  9. 部分空間:もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な

    3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね? → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 9
  10. 部分空間:さらにわかりやすく(?) 2 次元平面で考えてみよう! 10

  11. 部分空間:さらにわかりやすく(?) = 1,2 2 次元平面で考えてみよう! 11

  12. 部分空間:さらにわかりやすく(?) = 1,2 2 次元平面で考えてみよう! このベクトルで 表現できる 部分空間は…? 12

  13. 部分空間:さらにわかりやすく(?) = 1,2 = = 1,2 2 次元平面で考えてみよう! このベクトルで 表現できる

    部分空間は…? 13
  14. 部分空間:乱暴に言うと… • 上のベクトルを幾つか( の次元数以 下に抑えつつ)選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな? 14

  15. 部分空間:乱暴に言うと… • 上のベクトルを幾つか( の次元数以 下に抑えつつ)選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな? 15

  16. 部分空間 と直行している部分空間 ⊥ 16

  17. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 17

  18. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 18

  19. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 19

  20. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ 20

  21. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ = +

    ⊥ 21
  22. グラム-シュミットの正規直交化 •すみません割愛します・・・ 22

  23. by Digital Archaeology http://www.flickr.com/photos/54899285@N06/8392517937/ 主成分分析 23

  24. たぶん今日のメイントピック •どんなものなのか? •どのように使うのか? •どのように求めるのか? 24

  25. 主成分分析:どんなものなのか? •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 25

  26. 主成分分析:どんなものなのか? •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 26

  27. 主成分分析:どのように使うのか? •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析

    → 2 変量解析の後ぐらいに実施? •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない(寄与率の低い)総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 27
  28. 主成分分析:どのように使うのか? •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析

    → 2 変量解析の後ぐらいに実施? •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない(寄与率の低い)総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 28
  29. 主成分分析:どのように使うのか? •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析

    → 2 変量解析の後ぐらいに実施? •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない(寄与率の低い)総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 29
  30. 主成分分析:より具体的な使い方 •http://markezine.jp/article/detail/16870 30

  31. 主成分分析:どのように求めるのか? •共共分散行列を求める •分散行列の固有値問題を解く •d 個の固有値と固有ベクトルが得られる •固有ベクトルを使い、主成分を計算する •固有値を使い、寄与率を計算する 31

  32. 共分散行列 •学習データ = 1 , … , •学習データの行列 = 1

    , … , •各成分の平均を表すベクトル = 1 , … , •平均を減じた学習データの行列 = 1 − , … , − •共分散行列 = Var = 1 32
  33. 固有値問題 •固有値問題 = λ (1 ≤ ≤ ) を解く •しかしなぜ固有値問題?

    •平均を減じた学習データ − に対し て、係数ベクトル を使って線形変換 したベクトル を得る = 1 , … , = •線形変換後のデータの分散 = = = 33
  34. 固有値問題(続き) •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) •

    で微分する ∂ = 2 − λ = λ 34
  35. 固有値問題(続き) •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) •

    で微分する ∂ = 2 − λ = λ 35
  36. 主成分/寄与率 •めでたく固有値/固有ベクトルがもとまっ た体で話を進めます… •第 主成分 •最大の固有値から順に λ1 , … ,

    λ 、対応する固 有ベクトルを 1 , … , としたときに の固 有ベクトルで線形変換することで求められる •寄与率 •第 主成分の寄与率は = λ =1 λ 36
  37. 主成分/寄与率 •第 1 主成分 •データを最もよく説明してくれる総合指標 • 分散が最も大きい • 分散は λ1

    が対応している •続いて第 2 主成分、第 3 主成分… の順に、 データをよく説明する総合指標となる •寄与率 •具体的に、その主成分が全体の何割を説明し てくれるのか、の指標値 37
  38. まとめ •部分空間 •元のベクトル空間上のいくつかのベクトル を利用して、線形結合により部分空間を表 現する •主成分分析 •データがよくバラつく(分散が大きくな る)方向に線形変換する •データの特性を確認したり、次元を削減し たり…

    38
  39. 自己紹介 39

  40. KOMIYA Atsushi @komiya_atsushi 40

  41. 分析力をコアとする マーケティングソリューションカンパニー エンジニアやってます 41

  42. 42 by vandys http://www.flickr.com/photos/41028635@N00/245922527/ ありがとう ございました