About Spectral Clustering

Spectral Clusteringというクラスタリング手法についての基本的な説明のスライドです。
@MMA_LAB

Transcript

1. About  Spectral  Clustering Univ.  of  Tsukuba  MMA  Lab   Shunya  Ueta
2. 目次 1.  Spectral  Graph   1.  About   2.  Graph  Laplacian  Matrix   3.  応用例   2.  Spectral  Clustering   3.  実装   2
3. About  Spectral  Graph   歴史:    1950年代~   目的:    グラフの特徴とグラフの固有値・固有ベクトル を結びつける   応用例:    Spectral  Clustering    画像領域分割   3
4. Graph  Laplacian  matrix   4 定義:   4 2 3 5 1 [  0  1  0  1  0  ]   [  1  0  1  1  0  ] [  0  1  0  0  1  ] [  1  1  0  0  1  ] [  0  0  1  1  0  ] [  2  0  0  0  0  ]   [  0  3  0  0  0  ] [  0  0  2  0  0  ] [  0  0  0  3  0  ] [  0  0  0  0  2  ] AG DG G n頂点無向グラフ G = (V, E) : AG : DG : Gの近接行列 Gの次数行列 LG = DG AG ラプラシアン行列 [    2  -­‐1    0  -­‐1    0  ]   [  -­‐1    3  -­‐1  -­‐1    0  ] [    0  -­‐1    2    0  -­‐1  ] [  -­‐1  -­‐1    0    3  -­‐1  ] [    0    0  -­‐1  -­‐1    2  ] LG = =
5. Spectral  Graphの応用例 画像領域分割  :  画素毎の類似画像 5
6. Spectral  Graphの応用例 画像領域分割 6
7. Spectral  Grapth  の応用例 Spectral  Clustering 7
8. Spectral  Clustering   8 P次元 n   個 .   .   . 目的   p次元のデータn個を   kクラスタに分類したい グラフ表現   データをグラフで表す   Laplacian  matrix   グラフの行列表現   n n 対称行列 固有値集合(スペクトラム)を求める   固有ベクトルを小さいものから   k番目までを選定   k n  
9. Graph  Laplacian  matrix   9 定義:   4 2 3 5 1 [  0  1  0  1  0  ]   [  1  0  1  1  0  ] [  0  1  0  0  1  ] [  1  1  0  0  1  ] [  0  0  1  1  0  ] [  2  0  0  0  0  ]   [  0  3  0  0  0  ] [  0  0  2  0  0  ] [  0  0  0  3  0  ] [  0  0  0  0  2  ] AG DG G n頂点無向グラフ G = (V, E) : AG : DG : Gの近接行列 Gの次数行列 LG = DG AG ラプラシアン行列 [    2  -­‐1    0  -­‐1    0  ]   [  -­‐1    3  -­‐1  -­‐1    0  ] [    0  -­‐1    2    0  -­‐1  ] [  -­‐1  -­‐1    0    3  -­‐1  ] [    0    0  -­‐1  -­‐1    2  ] LG = =
10. ProperLes  of  Laplacian  matrix   10 1.  Lは部分対角優位行列なので全ての固有値は 0  以上   2.  L  の最小固有値は  0  であり、対応する固有ベクトルは全要素1の  n   次元ベクトル   3.  固有値0の個数はグラフの連結部の数     連結部A 連結部B Laplacian  matrix   グラフの行列表現   対称行列 A B 1   1   1   0   0   0 I   0   =   x   x   固有値 対角行列
11. ProperLes  of  Laplacian  matrix   11 1.  Lは部分対角優位行列なので全ての固有値は 0  以上   2.  L  の最小固有値は  0  であり、対応する固有ベクトルは全要素1の  n   次元ベクトル   3.  固有値0の個数はグラフの連結部の数     連結部A 連結部B Laplacian  matrix   グラフの行列表現   対称行列 A B 0   0   0   1   1   1   I   0   =   x   x   固有値 対角行列
12. Spectral  Clustering   12 理想的なグラフ状態   各行に対して各列の要素が   クラスタを示している   k n   1   1   0   0   0   0   0   1   0   0   i番目の行はあるデータX_i  が所属するクラスタを   示している   0   0   0   １   1