Tweet
Tweet

Slide 1

Slide 1 text

はじめての パターン認識 読書会 #11 Chap.9 部分空間法 KOMIYA Atsushi (@komiya_atsushi ) 2014.2.4 http://connpass.com/event/4978/

Slide 2

Slide 2 text

by Allert Aalders http://www.flickr.com/photos/50553647@N00/424644321/ 今日は 「9.1 部分空間」 「9.2 主成分分析」 の発表です 2

Slide 3

Slide 3 text

数式の解説は 難しいので 諦めました すみません＞＜ 3

Slide 4

Slide 4 text

by ume-y http://www.flickr.com/photos/29989965@N00/2881945138/ 部分空間 の定義的なもの 4

Slide 5

Slide 5 text

部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の 1 次独立な ベクトル 1 , 2 , … , を１次結合するこ とで表現されるベクトルすべての集合で ある 5

Slide 6

Slide 6 text

部分空間をざっくり説明すると… • 次元ベクトル空間 の部分空間とは、 上にある 個 ( ≤ ) の 1 次独立な ベクトル 1 , 2 , … , を１次結合するこ とで表現されるベクトルすべての集合で ある 6

Slide 7

Slide 7 text

部分空間：もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な 3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね？ → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 7

Slide 8

Slide 8 text

部分空間：もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な 3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね？ → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 8

Slide 9

Slide 9 text

部分空間：もう少しわかりやすく •3 次元のベクトル空間 で考えてみよう • 1 次従属じゃない、すなわち 1 次独立 な 3 個以下の ベクトルを用意します • 1 = 3,1,0 , 2 = (0,2,1) • 1 = 2 を満たすような実数 はないよね？ → 一次独立 • 1 , 2 のベクトルを 1 次結合して得られるすべてのベク トルを考える • = 1 1 + 2 2 • 1 , 2 は実数とする • このベクトル が属する集合を の部分空間 という • = 1 1 + 2 2 1 ∈ , 2 ∈ } • は実数の集合を表す 9

Slide 10

Slide 10 text

部分空間：さらにわかりやすく（？） 2 次元平面で考えてみよう！ 10

Slide 11

Slide 11 text

部分空間：さらにわかりやすく（？） = 1,2 2 次元平面で考えてみよう！ 11

Slide 12

Slide 12 text

部分空間：さらにわかりやすく（？） = 1,2 2 次元平面で考えてみよう！ このベクトルで 表現できる 部分空間は…？ 12

Slide 13

Slide 13 text

部分空間：さらにわかりやすく（？） = 1,2 = = 1,2 2 次元平面で考えてみよう！ このベクトルで 表現できる 部分空間は…？ 13

Slide 14

Slide 14 text

部分空間：乱暴に言うと… • 上のベクトルを幾つか（ の次元数以 下に抑えつつ）選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな？ 14

Slide 15

Slide 15 text

部分空間：乱暴に言うと… • 上のベクトルを幾つか（ の次元数以 下に抑えつつ）選び、その選んだベクト ルだけで他のベクトルを表現しようぜ、 みたいな？ 15

Slide 16

Slide 16 text

部分空間 と直行している部分空間 ⊥ 16

Slide 17

Slide 17 text

部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 17

Slide 18

Slide 18 text

部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 18

Slide 19

Slide 19 text

部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ 19

Slide 20

Slide 20 text

部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ 20

Slide 21

Slide 21 text

部分空間 と直行している部分空間 ⊥ W に直行してい る部分空間 ⊥ ⊥ = + ⊥ 21

Slide 22

Slide 22 text

グラム-シュミットの正規直交化 •すみません割愛します・・・ 22

Slide 23

Slide 23 text

by Digital Archaeology http://www.flickr.com/photos/54899285@N06/8392517937/ 主成分分析 23

Slide 24

Slide 24 text

たぶん今日のメイントピック •どんなものなのか？ •どのように使うのか？ •どのように求めるのか？ 24

Slide 25

Slide 25 text

主成分分析：どんなものなのか？ •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 25

Slide 26

Slide 26 text

主成分分析：どんなものなのか？ •「学習データの分散が最大になる方向へ の線形変換を求める手法である」 •「データの無相関化と同じこと」 26

Slide 27

Slide 27 text

主成分分析：どのように使うのか？ •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析 → 2 変量解析の後ぐらいに実施？ •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない（寄与率の低い）総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 27

Slide 28

Slide 28 text

主成分分析：どのように使うのか？ •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析 → 2 変量解析の後ぐらいに実施？ •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない（寄与率の低い）総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 28

Slide 29

Slide 29 text

主成分分析：どのように使うのか？ •※勝手な想像が多分に入り混じってます •分析対象のデータの概要・傾向を知るため • 次元数 – 1 個の総合指標を算出するイメージ • 単変量解析 → 2 変量解析の後ぐらいに実施？ •たくさんある説明変数 (=高次元) を削減 するため • 説明変数そのものを削減するのではない • さして影響を与えない（寄与率の低い）総合 指標を削る •むしろ皆様の使い方をお聞かせ下さい… 29

Slide 30

Slide 30 text

主成分分析：より具体的な使い方 •http://markezine.jp/article/detail/16870 30

Slide 31

Slide 31 text

主成分分析：どのように求めるのか？ •共共分散行列を求める •分散行列の固有値問題を解く •d 個の固有値と固有ベクトルが得られる •固有ベクトルを使い、主成分を計算する •固有値を使い、寄与率を計算する 31

Slide 32

Slide 32 text

共分散行列 •学習データ = 1 , … , •学習データの行列 = 1 , … , •各成分の平均を表すベクトル = 1 , … , •平均を減じた学習データの行列 = 1 − , … , − •共分散行列 = Var = 1 32

Slide 33

Slide 33 text

固有値問題 •固有値問題 = λ (1 ≤ ≤ ) を解く •しかしなぜ固有値問題？ •平均を減じた学習データ − に対し て、係数ベクトル を使って線形変換 したベクトル を得る = 1 , … , = •線形変換後のデータの分散 = = = 33

Slide 34

Slide 34 text

固有値問題（続き） •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) • で微分する ∂ = 2 − λ = λ 34

Slide 35

Slide 35 text

固有値問題（続き） •「ラグランジュの未定乗数法」という よくわからない黒魔術を使って さらに式変形する = − λ( − 1) • で微分する ∂ = 2 − λ = λ 35

Slide 36

Slide 36 text

主成分／寄与率 •めでたく固有値／固有ベクトルがもとまっ た体で話を進めます… •第 主成分 •最大の固有値から順に λ1 , … , λ 、対応する固 有ベクトルを 1 , … , としたときに の固 有ベクトルで線形変換することで求められる •寄与率 •第 主成分の寄与率は = λ =1 λ 36

Slide 37

Slide 37 text

主成分／寄与率 •第 1 主成分 •データを最もよく説明してくれる総合指標 • 分散が最も大きい • 分散は λ1 が対応している •続いて第 2 主成分、第 3 主成分… の順に、 データをよく説明する総合指標となる •寄与率 •具体的に、その主成分が全体の何割を説明し てくれるのか、の指標値 37

Slide 38

Slide 38 text

まとめ •部分空間 •元のベクトル空間上のいくつかのベクトル を利用して、線形結合により部分空間を表 現する •主成分分析 •データがよくバラつく（分散が大きくな る）方向に線形変換する •データの特性を確認したり、次元を削減し たり… 38

Slide 39

Slide 39 text

自己紹介 39

Slide 40

Slide 40 text

KOMIYA Atsushi @komiya_atsushi 40

Slide 41

Slide 41 text

分析力をコアとする マーケティングソリューションカンパニー エンジニアやってます 41

Slide 42

Slide 42 text

42 by vandys http://www.flickr.com/photos/41028635@N00/245922527/ ありがとう ございました