次元の呪いと球面集中現象

『次元の呪い』という言葉について、K近傍法を高次元なデータに適用した場合にどのような問題が発生するかを具体例に挙げて説明します。
動画：https://youtu.be/DhnMnaWLo-E

Transcript

1. ,ͷษڧνϟϯωϧ
2. 今回の内容 •次元の呪いとは •K近傍法と球面集中現象 •次元が大きくなる時にどのような問題が発生するか次元の呪いを避けるためには 『次元の呪い』とは何か説明します
3. 次元の呪いとは 高次元のデータを用いて計算・データ分析をする際に発生する問題の総称 The curse of dimensionality refers to various phenomena that arise when analyzing and organizing data in high- dimensional spaces that do not occur in low-dimensional settings … ग़యɿhttps://en.wikipedia.org/wiki/Curse_of_dimensionality 組合せ爆発 データ間の距離を測る上での問題 機械学習や異常検知における、予測に関係しない次元の多さ 計算量の増加
4. K-近傍法 データの周辺のｋ個の点をもとに、分類や回帰を行う x1 x0 この点は白か黒か？ x1 x0 近傍が白なので白
5. K-近傍法 データの周辺のｋ個の点をもとに、分類や回帰を行う x1 x0 こ の は か か x1 x0 近傍が白なので白 この近傍の点を探索する作業、 どれくらい大変なのでしょうか？
6. データが1次元の場合 ソートして周辺と比較すれば、近傍の点を探索できる [0, 1, 9, 2, 11, 10, 8, 2, 1, 1, 100] 12 12に近いデータはどれ…？ [0, 1, 1, 1, 2, 2, 8, 9, 10, 11, 100] ソートしてから二分探索すれば速く見つけられる！
7. データが2次元の場合 空間をいくつかの区画に分けて探索 (4, 5)に近いデータはどれ…？ x1 x0 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • x1 x0 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 区画を分けて、 区画分けを木で表現すれば探索できる ｋD木と呼びます
8. さらに次元数を増やしたら どうなるか?
9. データが3次元の場合 近傍にあたる領域がどれくらいあるのかを調べます x1 x0 • x1 x0 • x2 黒い点の近傍（表面の濃い青色）の体積を求めてみる
10. 表面の体積は、2つの球の体積の差で求まる 近傍にあたる領域がどれくらいあるのかを調べます x1 x0 x2 • ＝ -
11. 表面の体積は、2つの球の体積の差で求まる 近傍にあたる領域がどれくらいあるのかを調べます x1 x0 x2 • ＝ - an rn an (r − b)n ＝ an rn(1 − (1 − d r )n) an = 次元数によって決定する定数 = 次元数 n
12. 次元数ｎが大きくなると球の表面が体積のほとんどを占める つまり、球の表面に黒点の近傍が大量に存在している x1 x0 x2 • ＝ - an rn an (r − b)n ＝ an rn(1 − (1 − d r )n) nが大きいほど0に近づく と an rn がほぼ同じ体積 つまり • • • • • • • • • • • •
13. この状態でｋ近傍探索すると、近傍の点が大量に見つかる つまり、球の中心から見て同じ距離の箇所に大量に点がある x1 x0 x2 • と an rn がほぼ同じ体積 • • • • • • • • • • • • 球の体積のほとんどは　　 である　　　 は中心の点から見て等しい距離 仮にデータを100個ランダムにばらまい た時、ばらまいたデータのほとんどは球 の表面　　に含まれてしまい、 中心から見ると99個のデータがどれも 近傍にあるように見える ※球面集中現象と呼ばれています
14. まとめ 次元の呪いについて説明しました • 高次元のデータを用いて計算・データ分析をする際に発生する問 題の総称 • 一例として、次元の呪いの一種である球面集中現象がｋ近傍法で どのように影響するかを紹介しました • 高次元なデータを扱う場合、次元を削減できないか検討し、次元 数とデータ数がアルゴリズムの前提に合っているか確認する必要 がある