$30 off During Our Annual Pro Sale. View Details »

About Spectral Clustering

Shunya Ueta
October 16, 2014

About Spectral Clustering

Spectral Clusteringというクラスタリング手法についての基本的な説明のスライドです。
@MMA_LAB

Shunya Ueta

October 16, 2014
Tweet

More Decks by Shunya Ueta

Other Decks in Research

Transcript

  1. About  Spectral  Clustering
    Univ.  of  Tsukuba  MMA  Lab  
    Shunya  Ueta

    View Slide

  2. 目次
    1.  Spectral  Graph  
    1.  About  
    2.  Graph  Laplacian  Matrix  
    3.  応用例  
    2.  Spectral  Clustering  
    3.  実装  
    2

    View Slide

  3. About  Spectral  Graph  
    歴史:  
     1950年代~  
    目的:  
     グラフの特徴とグラフの固有値・固有ベクトル
    を結びつける  
    応用例:  
     Spectral  Clustering  
     画像領域分割  

    3

    View Slide

  4. Graph  Laplacian  matrix  
    4
    定義:  
    4
    2 3
    5
    1
    [  0  1  0  1  0  ]  
    [  1  0  1  1  0  ]
    [  0  1  0  0  1  ]
    [  1  1  0  0  1  ]
    [  0  0  1  1  0  ]
    [  2  0  0  0  0  ]  
    [  0  3  0  0  0  ]
    [  0  0  2  0  0  ]
    [  0  0  0  3  0  ]
    [  0  0  0  0  2  ]
    AG
    DG
    G
    n頂点無向グラフ
    G = (V, E) :
    AG :
    DG :
    Gの近接行列
    Gの次数行列
    LG = DG AG ラプラシアン行列
    [    2  -­‐1    0  -­‐1    0  ]  
    [  -­‐1    3  -­‐1  -­‐1    0  ]
    [    0  -­‐1    2    0  -­‐1  ]
    [  -­‐1  -­‐1    0    3  -­‐1  ]
    [    0    0  -­‐1  -­‐1    2  ]
    LG
    =
    =

    View Slide

  5. Spectral  Graphの応用例
    画像領域分割  :  画素毎の類似画像
    5

    View Slide

  6. Spectral  Graphの応用例
    画像領域分割
    6

    View Slide

  7. Spectral  Grapth  の応用例
    Spectral  Clustering
    7

    View Slide

  8. Spectral  Clustering  
    8
    P次元
    n  

    .  
    .  
    .
    目的  
    p次元のデータn個を  
    kクラスタに分類したい
    グラフ表現  
    データをグラフで表す  
    Laplacian  matrix  
    グラフの行列表現  
    n
    n
    対称行列
    固有値集合(スペクトラム)を求める  
    固有ベクトルを小さいものから  
    k番目までを選定  
    k
    n  

    View Slide

  9. Graph  Laplacian  matrix  
    9
    定義:  
    4
    2 3
    5
    1
    [  0  1  0  1  0  ]  
    [  1  0  1  1  0  ]
    [  0  1  0  0  1  ]
    [  1  1  0  0  1  ]
    [  0  0  1  1  0  ]
    [  2  0  0  0  0  ]  
    [  0  3  0  0  0  ]
    [  0  0  2  0  0  ]
    [  0  0  0  3  0  ]
    [  0  0  0  0  2  ]
    AG
    DG
    G
    n頂点無向グラフ
    G = (V, E) :
    AG :
    DG :
    Gの近接行列
    Gの次数行列
    LG = DG AG ラプラシアン行列
    [    2  -­‐1    0  -­‐1    0  ]  
    [  -­‐1    3  -­‐1  -­‐1    0  ]
    [    0  -­‐1    2    0  -­‐1  ]
    [  -­‐1  -­‐1    0    3  -­‐1  ]
    [    0    0  -­‐1  -­‐1    2  ]
    LG
    =
    =

    View Slide

  10. ProperLes  of  Laplacian  matrix  
    10
    1.  Lは部分対角優位行列なので全ての固有値は 0  以上  
    2.  L  の最小固有値は  0  であり、対応する固有ベクトルは全要素1の  n  
    次元ベクトル  
    3.  固有値0の個数はグラフの連結部の数  
     
    連結部A 連結部B
    Laplacian  matrix  
    グラフの行列表現  
    対称行列
    A
    B
    1  
    1  
    1  
    0  
    0  
    0
    I  
    0  
    =   x  
    x  
    固有値
    対角行列

    View Slide

  11. ProperLes  of  Laplacian  matrix  
    11
    1.  Lは部分対角優位行列なので全ての固有値は 0  以上  
    2.  L  の最小固有値は  0  であり、対応する固有ベクトルは全要素1の  n  
    次元ベクトル  
    3.  固有値0の個数はグラフの連結部の数  
     
    連結部A 連結部B
    Laplacian  matrix  
    グラフの行列表現  
    対称行列
    A
    B
    0  
    0  
    0  
    1  
    1  
    1  
    I  
    0  
    =   x  
    x  
    固有値
    対角行列

    View Slide

  12. Spectral  Clustering  
    12
    理想的なグラフ状態  
    各行に対して各列の要素が  
    クラスタを示している  
    k
    n  
    1  
    1  
    0  
    0  
    0  
    0  
    0  
    1  
    0  
    0  
    i番目の行はあるデータX_i  が所属するクラスタを  
    示している  
    0  
    0  
    0  
    1  
    1  

    View Slide