X-meansの仕組み

クラスタリングの手法のひとつであるXmeansについて説明した際のスライドです。
動画：https://www.youtube.com/watch?v=-Zd5s_LAC04

Transcript

1. クラスタリング2 クラスタリング2 X-means X-means 作成者：K クラスタ数を自動で決定！
2. アルゴリズム 再びセントロイドを再計算し、また同じことを繰り返します 色付けした点の平均値を求めて、 それをクラスタを代表する点(セ ントロイド, centroid)とします この「セントロイドを求める↔色 付けし直す」の作業を繰り返し、 セントロイドが移動量が十分小さ くなったら計算を終了します 前回までのおさらい
3. clusters(k)パラメタの影響 ｋの指定が適切でないと、一つの クラスタを複数の部分に分けてし まう場合がある 前回までのおさらい →データに基づいてｋを決定する 方法はないだろうか？
4. X-means<> ２つのクラスタに分けるk-meansを情報量基準に沿って繰り返す クラスタごとにk=2でk-meansを実行し、 さらに二分割したほうが良さそうならば 分割する <>
   1FMMFH
   %BO
   BOE
   "OESFX
   8
   .PPSF
   9NFBOT
   &YUFOEJOH
   LNFBOT
   XJUI
   F ffi DJFOU
   FTUJNBUJPO
   PG
   UIF
   OVNCFS
   PG
   DMVTUFST
   *DNM
   7PM
   
   
5. X-means ①kを小さな値に設定してｋ-meansを実行 ࢀߟจݙɿੴԬ߃ݑ
   Ϋϥελʔ਺Λࣗಈܾఆ͢Δ
   LNFBOT
   ΞϧΰϦζϜͷ ֦ுʹ͍ͭͯ
   Ԡ༻౷ܭֶ
   
    
    k=2とすれば、 はじめにデータは2つのクラスタに分かれる
6. X-means ②データはクラスタごとに正規分布に近い形でデータがばらついているとして、BICを計算 データが正規分布から生成されているとして、 BIC(ベイズ情報量基準)を計算 BIC = − 2 log L( ̂ θi ; xi ∈ Ci ) + q log n i番目のクラスタのデータの対数尤度 →クラスタがまとまっているほど高い値になる ࢀߟจݙɿੴԬ߃ݑ
   Ϋϥελʔ਺Λࣗಈܾఆ͢Δ
   LNFBOT
   ΞϧΰϦζϜͷ ֦ுʹ͍ͭͯ
   Ԡ༻౷ܭֶ
   
    
   
7. X-means ③クラスタごとに k=2として k-meansを実行して、BICを計算する BIC = − 2 log L( ̂ θi ; xi ∈ Ci ) + q log n K-meansでクラスタを２つに分ける ２つに分けた後、再びBICを計算
8. X-means ④２つに分ける前と後のBICを比較し、分けるべきかどうか決定 分ける前の 分けた後の →クラスタ数を増やしたほうがよい BIC = 1000 BIC = 2000 分ける前の 分けた後の →クラスタ数はこのままで良い BIC = 1200 BIC = 900
9. 実験！
10. k-meansとX-meansの結果を比較 k=5を指定した場合のクラスタリング結果 https://k-datamining.github.io/dm-book/data-analysis/materials/clustering/X-meansΫϥελϦϯά.html ← k=5でk-meansを収束するまで実行 ＝想定していたクラスタ
11. k-meansとX-meansの結果を比較 X-meansはkを指定せずとも右上のクラスタをうまくクラスタリングできている https://k-datamining.github.io/dm-book/data-analysis/materials/clustering/X-meansΫϥελϦϯά.html
12. k-meansとX-meansの結果を比較 色々なパターンでk-means(k=5)とX-meansを比較してみる
13. k-meansとX-meansの結果を比較 色々なパターンでk-means(k=5)とX-meansを比較してみる
14. クラスタリングを終了するタイミングを変えた場合 Tolerance＝セントロイドの移動距離がどれ以下になったらクラスタリングを終了するか パラメタの指定次第では分割しすぎ・分割しなさ過ぎる場合もあることに注意する
15. まとめ •K-meansはあらかじめｋを指定する必要があった •X-meansはクラスタを更に二分割すべきかをBICを元に判断し、これによりクラスタ 数ｋを自動で決定することができる •X-meansもパラメタの指定によって結果が変化するので、妥当な分割をしているか 確認する必要あり X-meansというアルゴリズムの概要を説明しました
16. 参考文献 •Pelleg, Dan, and Andrew W. Moore. "X-means: Extending k-means with e ffi cient estimation of the number of clusters." Icml. Vol. 1. 2000(pdf). •嘉村準弥, and 小柳滋. "x-means 法における分割停止規準の改良." IEICE Conferences Archives. The Institute of Electronics, Information and Communication Engineers, 2009. •石岡恒憲. "クラスター数を自動決定する k‐means アルゴリズムの拡張について." 応 用統計学 29.3 (2000): 141-149.