クラスタリング１ クラスタリング１ k-means k-means 作成者：K （リンク）

『クラスタリング』で説明する項目 k-means k-means++ X-means Part1 Part2

今回の内容 •クラスタリングとは •k-means •実験 •k-means++ •まとめ クラスタリングとk-meansアルゴリズムについて説明します

クラスタリング データを教師データ無しでいくつかのグループにまとめ上げる方法 データ は与えられている が、正解データ は無い 　　　　　＝教師なし学習 X y

アルゴリズム データを用意します ２つのグループに分けること ができそうなので、 と 設定します k = 2

アルゴリズム 各クラスタの初期値を設定します ２つの初期値を作成します (作成の仕方は色々考えられますが、ここ ではデータのある空間の中に■と■を作 成してそれを初期値としました) ࢀߟจݙɿk-means clustering ͷॳظ஋ͷܾΊํΛݩʹͯ͠આ໌͍ͯ͠·͢

アルゴリズム クラスタの初期値に近い点を求め、それらをまとめます それぞれの初期値と距離が近 い点を赤と青で色付けします

アルゴリズム クラスタごとの平均値(セントロイド)を求めます 色付けした点の平均値を求めて、 それをクラスタを代表する点(セ ントロイド, centroid)とします

アルゴリズム セントロイドから近い点を再び求め、クラスタを割り当てます セントロイドから距離が近い点を 色付けします

アルゴリズム 再びセントロイドを再計算し、また同じことを繰り返します 色付けした点の平均値を求めて、 それをクラスタを代表する点(セ ントロイド, centroid)とします

アルゴリズム セントロイドが移動しなくなったら、計算を終了します！ この「セントロイドを求める↔色 付けし直す」の作業を繰り返し、 セントロイドが移動量が十分小さ くなったら計算を終了します

実験！

K-meansクラスタリング ←のデータにk=2としてk-means を適用すると、綺麗にデータがク ラスタリングされる 色＝クラスタ

クラスタの境界が明確でない場合 ｋの指定が適切でないと、一つの クラスタを複数の部分に分けてし まう場合がある

clusters(k)パラメタの影響 ｋの指定が適切でないと、一つの クラスタを複数の部分に分けてし まう場合がある

k-meansの問題 仮に初期値として隣接する点を選んでしまうと 収束するまでに時間がかかる可能性がある 初期値次第で計算終了に時間がかかる＋結果が変わるかもしれない ▼収束後の結果

k-means++<> はじめに、ランダムに点を一つ選ぶ 次の点は、はじめに選んだ点との距離 に基づいた確率分布に基づいて選ぶ (遠いほど選ばれやすくなる) ※scikit-learnはデフォルトではk-means++が実行されます 参考文献：sklearn.cluster.KMeans 『k-meansの初期値はなるべく離れた点を選んだほうが良い』というアイデアを利用 [1] Arthur, David, and Sergei Vassilvitskii. k-means++: The advantages of careful seeding. Stanford, 2006.

randomとk-mans++の比較 •K-means++はすべて同じような クラスタリングをすることができ ている •K-mansは初期値次第でクラスタ の境界が変化していることが確 認できる

まとめ K-meanアルゴリズムについて説明しました •クラスタリングとは、データを教師データ無しでいくつかのグループにまとめ上げる 方法 •K-meansでは、セントロイドの計算とクラスタの割り当てを繰り返すことでクラスタ のまとまりを求める •K-meansは初期値の決め方によって結果が変わったり収束するまでに時間がかかる 可能性があり、k-means++では改良を加えてこの問題を軽減している •パラメタｋの設定次第では不自然な形のクラスタができることもある

参考文献 •https://ja.wikipedia.org/wiki/K%E5%B9%B3%E5%9D%87%E6%B3%95 •sklearn.cluster.KMeans •Arthur, David, and Sergei Vassilvitskii. k-means++: The advantages of careful seeding. Stanford, 2006.