はじめてのパターン認識読書会 #11 部分空間法

Transcript

1. はじめての パターン認識 読書会 #11 Chap.9 部分空間法 KOMIYA Atsushi (@komiya_atsushi ) 2014.2.4 http://connpass.com/event/4978/
2. by Allert Aalders http://www.flickr.com/photos/50553647@N00/424644321/ 今日は 「9.1 部分空間」 「9.2 主成分分析」 の発表です 2
3. 数式の解説は 難しいので 諦めました すみません＞＜ 3
4. by ume-y http://www.flickr.com/photos/29989965@N00/2881945138/ 部分空間 の定義的なもの 4
5. 部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の 1 次独立な ベクトル 1 , 2 , … , を１次結合するこ とで表現されるベクトルすべての集合で ある 5
6. 部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の 1 次独立な ベクトル 1 , 2 , … , を１次結合するこ とで表現されるベクトルすべての集合で ある 6
7. 部分空間：もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な 3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね？ → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 7
8. 部分空間：もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な 3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね？ → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 8
9. 部分空間：もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な 3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね？ → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 9
10. 部分空間：さらにわかりやすく（？） 2 次元平面で考えてみよう！ 10
11. 部分空間：さらにわかりやすく（？） = 1,2 2 次元平面で考えてみよう！ 11
12. 部分空間：さらにわかりやすく（？） = 1,2 2 次元平面で考えてみよう！ このベクトルで 表現できる 部分空間は…？ 12
13. 部分空間：さらにわかりやすく（？） = 1,2 = = 1,2 2 次元平面で考えてみよう！ このベクトルで 表現できる 部分空間は…？ 13
14. 部分空間：乱暴に言うと… • 上のベクトルを幾つか（ の次元数以 下に抑えつつ）選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな？ 14
15. 部分空間：乱暴に言うと… • 上のベクトルを幾つか（ の次元数以 下に抑えつつ）選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな？ 15
16. 部分空間 と直行している部分空間 ⊥ 16
17. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 17
18. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 18
19. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 19
20. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ 20
21. 部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ = + ⊥ 21
22. グラム-シュミットの正規直交化 •すみません割愛します・・・ 22
23. by Digital Archaeology http://www.flickr.com/photos/54899285@N06/8392517937/ 主成分分析 23
24. たぶん今日のメイントピック •どんなものなのか？ •どのように使うのか？ •どのように求めるのか？ 24
25. 主成分分析：どんなものなのか？ •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 25
26. 主成分分析：どんなものなのか？ •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 26
27. 主成分分析：どのように使うのか？ •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析 → 2 変量解析の後ぐらいに実施？ •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない（寄与率の低い）総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 27
28. 主成分分析：どのように使うのか？ •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析 → 2 変量解析の後ぐらいに実施？ •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない（寄与率の低い）総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 28
29. 主成分分析：どのように使うのか？ •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析 → 2 変量解析の後ぐらいに実施？ •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない（寄与率の低い）総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 29
30. 主成分分析：より具体的な使い方 •http://markezine.jp/article/detail/16870 30
31. 主成分分析：どのように求めるのか？ •共共分散行列を求める •分散行列の固有値問題を解く •d 個の固有値と固有ベクトルが得られる •固有ベクトルを使い、主成分を計算する •固有値を使い、寄与率を計算する 31
32. 共分散行列 •学習データ = 1 , … , •学習データの行列 = 1 , … , •各成分の平均を表すベクトル = 1 , … , •平均を減じた学習データの行列 = 1 − , … , − •共分散行列 = Var = 1 32
33. 固有値問題 •固有値問題 = λ (1 ≤ ≤ ) を解く •しかしなぜ固有値問題？ •平均を減じた学習データ − に対し て、係数ベクトル を使って線形変換 したベクトル を得る = 1 , … , = •線形変換後のデータの分散 = = = 33
34. 固有値問題（続き） •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) • で微分する ∂ = 2 − λ = λ 34
35. 固有値問題（続き） •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) • で微分する ∂ = 2 − λ = λ 35
36. 主成分／寄与率 •めでたく固有値／固有ベクトルがもとまっ た体で話を進めます… •第 主成分 •最大の固有値から順に λ1 , … , λ 、対応する固 有ベクトルを 1 , … , としたときに の固 有ベクトルで線形変換することで求められる •寄与率 •第 主成分の寄与率は = λ =1 λ 36
37. 主成分／寄与率 •第 1 主成分 •データを最もよく説明してくれる総合指標 • 分散が最も大きい • 分散は λ1 が対応している •続いて第 2 主成分、第 3 主成分… の順に、 データをよく説明する総合指標となる •寄与率 •具体的に、その主成分が全体の何割を説明し てくれるのか、の指標値 37
38. まとめ •部分空間 •元のベクトル空間上のいくつかのベクトル を利用して、線形結合により部分空間を表 現する •主成分分析 •データがよくバラつく（分散が大きくな る）方向に線形変換する •データの特性を確認したり、次元を削減し たり… 38
39. 自己紹介 39
40. KOMIYA Atsushi @komiya_atsushi 40
41. 分析力をコアとする マーケティングソリューションカンパニー エンジニアやってます 41
42. 42 by vandys http://www.flickr.com/photos/41028635@N00/245922527/ ありがとう ございました