エシェロン解析による空間の分割とホットスポットの抽出

Transcript

1. AI Community 2025.12.11 赤池 嵩文 GO株式会社 エシェロン解析による空間 の分割とホットスポットの 抽出
2. © GO Inc. 2 ⾃⼰紹介 【経歴】 ERPパッケージのベンダーにてシステム開発を経験した後、企業の信 ⽤調査会社へ⼊社しデータ分析業務を開始。 それ以後、AIベンダー、HR系ベンチャー、薬局系スタートアップに て分析業務を担当し、2024年6⽉にGO株式会社に⼊社。 @takaike12 GO株式会社 AI技術開発部 AI技術開発2グループ ⾚池 嵩⽂
3. 3 目次 01｜はじめに 02｜空間データを分ける 03｜エシェロン解析のしくみ 04｜まとめ
4. 4 01 はじめに
5. 5 はじめに ▪ タクシーアプリのデータ分析において、利用が集中するエリアを特定 したいケースは少なくありません ▪ 単純に地図上に点をプロットするだけでも概況はつかめますが、密度 が高すぎると集中の度合いが判別しづらくなるという問題があります ▪ 一方で、メッシュ単位で集計して可視化したとしても、一部の突出し た大きな値に全体が引っ張られ、中小規模の重要な「山」が埋もれて しまいがちです ▪ この資料では、空間に分布する1変数を用いて「エシェロン解析」に よって客観的に空間構造を抽出する方法を紹介します
6. 6 02 空間データを分ける
7. 7 ▪ 地図上に可視化すれば一目瞭然？ ▪ 分類の境界が恣意的になりやすく、重要なピークを見落とすリスク 可視化による分類の限界 1. 点をそのまま可視化 2. メッシュやHexで集計して可視化 問題点： 判断や分類の境界が個人の感覚に依存し曖昧。 点がある程度集中すると、大きさがわからなくなる。 問題点： 極端に値が大きい場所に全体が引っ張られ、 中小規模の集積を見逃す。 https://www.kaggle.com/datasets/yasserh/uber-fares-dataset より、2014年の乗車地点に絞って可視化
8. ▪ 1変数の空間データの値を「標高」と見なして起伏（山と谷）の構造を階層的 に分類し、領域分割やホットスポット抽出を行う手法 ▪ ピークの発見： 極大値を頂点とする「山」を認識。 ▪ 領域の統合： 隣接関係を考慮しながら、頂上から裾野へと領域を広げる ▪ メリット： 恣意的な閾値設定なしに、データ内在の構造で領域分割が可能 8 エシェロン解析とは？ https://www.jstage.jst.go.jp/article/bdajcs/2/1/2_17/_pdf/-char/ja より引用 【用語】 エシェロン：階層のこと ピーク：階層のうち極大値を含むもの ファウンデーション：ピーク以外の階層
9. 9 エシェロン解析により圏やホットスポットを抽出できる ▪ エシェロンを分類することにより、その階層を活用して空間から圏を抽出した り、ホットスポットを検出することができる 使用データ ※ 格子データとは空間において範囲が区切られた離散的なデータをさし、メッシュのような規則的な格子だけでなく行政区域のような非規則的なものも含む。 格子データ※ 格子データからのエシェロンの抽出 用途 複数のエシェロンで構成される「圏」の抽出 ホットスポットの検出
10. 10 03 エシェロン解析のしくみ
11. 11 エシェロン解析の手順 ▪ エシェロン解析では、次の2ステップで格子データをエシェロン（階層）に分 類する 1. ピークの抽出 2. ファウンデーションの抽出 極大値に隣接する格子との大小関係 の比較を繰り返し、ピークのエシェ ロンを抽出する ピークのエシェロンを除いた格子の 中で、隣接する格子との大小比較を 繰り返し、ファウンデーションのエ シェロンを抽出する
12. ▪ 単純化のため、以下の1次元のデータを例としてエシェロンを分類してみる 12 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4 5 4 3 2 【上記の値を縦軸に取った場合の立体】
13. ▪ まず、最大値を見つける 13 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4 5 4 3 2 【上記の値を縦軸に取った場合の立体】
14. ▪ 最大値のGと隣接する格子（F, H）を比較 ▪ どの値よりも大きいので、ピークのエシェロンとする 14 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4 5（EN1） 4 3 2 【上記の値を縦軸に取った場合の立体】
15. ▪ Gに隣接する格子（F, H）の中で最大値を見つける 15 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4 5（EN1） 4 3 2 【上記の値を縦軸に取った場合の立体】
16. 16 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】 ▪ F, G, Hをひとかたまりとし、それが隣接する格子（E, I）と比較 ▪ F, HはE, Iのどちらよりも大きいので、Gのエシェロンに併合する
17. 17 エシェロンを分類する 〜1次元のデータの分類〜 ▪ エシェロンに隣接する格子（E, I）の中で最大値を見つける A B C D E F G H I J 1 2 3 4 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
18. ▪ E, F, G, H, Iをひとかたまりとし、それが隣接する格子（D, J）と比較 ▪ E, IはDより小さいので、Gを中心とするエシェロンに併合できない 18 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
19. ▪ エシェロン以外の格子の中で最大値を見つける 19 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
20. ▪ Dに隣接する格子（C, E）とDを比較 ▪ DはC, Eより大きいので2つ目のエシェロンとする 20 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4（EN2） 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
21. ▪ Dに隣接する格子（C, E）の中で最大値を見つける 21 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4（EN2） 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
22. ▪ C, Eに隣接する格子（B, F）の値とC, Eを比較 ▪ C, EはFより小さいので、Dを中心とするエシェロンに併合できない 22 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4（EN2） 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
23. ▪ 残った格子の最大値は「3」だが、それらは隣接するいずれかの格子の値より 小さいため、ピークのエシェロンの探索を打ち切る 23 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3 4（EN2） 3 4（EN1） 5（EN1） 4（EN1） 3 2 【上記の値を縦軸に取った場合の立体】
24. ▪ 次に、ファウンデーションのエシェロンを分類する ▪ 残りの格子の中から最大値の格子を見つけ、ファウンデーションとする 24 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3（EN3） 4（EN2） 3（EN3） 4（EN1） 5（EN1） 4（EN1） 3（EN3） 2 【上記の値を縦軸に取った場合の立体】
25. ▪ C, E, Iの階層をその子孫（上に乗っているエシェロン）とまとめて一族を作 る 25 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3（EN3） 4（EN2） 3（EN3） 4（EN1） 5（EN1） 4（EN1） 3（EN3） 2 【上記の値を縦軸に取った場合の立体】
26. ▪ 一族に隣接する格子の中で最大値を取るもの（B, J）を見つける 26 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2 3（EN3） 4（EN2） 3（EN3） 4（EN1） 5（EN1） 4（EN1） 3（EN3） 2 【上記の値を縦軸に取った場合の立体】
27. ▪ 一族とB, Jをまとめたものに隣接する格子（A）の値と、B, Jを比較 ▪ B, JはAより大きいので、ファウンデーションに併合する 27 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1 2（EN3） 3（EN3） 4（EN2） 3（EN3） 4（EN1） 5（EN1） 4（EN1） 3（EN3） 2（EN3） 【上記の値を縦軸に取った場合の立体】
28. ▪ 同じ要領で、AもEN3に併合する 28 エシェロンを分類する 〜1次元のデータの分類〜 A B C D E F G H I J 1（EN3） 2（EN3） 3（EN3） 4（EN2） 3（EN3） 4（EN1） 5（EN1） 4（EN1） 3（EN3） 2（EN3） 【上記の値を縦軸に取った場合の立体】
29. 29 エシェロンから圏を見つける ▪ ピークのエシェロンを核として、それに対してファウンデーションがどの ピークに接しているかを判定することで、圏に分割する A B C D E F G H I J 1 2（EN3） 3（EN3） 4（EN2） 3（EN3） 4（EN1） 5（EN1） 4（EN1） 3（EN3） 2（EN3） 【上記の値を縦軸に取った場合の立体】
30. ▪ 空間的に過密な領域を統計的に検出するための「空間スキャン統計量」を エシェロンを用いて算出する 30 エシェロンスキャン法でホットスポットを検出する ※ 帰無仮説、対立仮説が成り立つ場合の尤度の比 2. ホットスポット候補の抽出 ウインドウごとに対数尤度比※を算 出し、重複しない領域群について 値が大きい順にホットスポット候 補とする 栗原 考次, 石岡 文生「エシェロン解析　階層化し て視る次空間データ」P.50より引用 ホットスポットの第1候補につい て、モンテカルロ法で最大対数尤 度の分布をシミュレート & 検定 3. 検定 栗原 考次, 石岡 文生「エシェロン解析　階層化し て視る次空間データ」P.50より引用 複数のウインドウ（Z）のパターン を「スキャン」する → エシェロンのピークからスキャ ンする 1. ウインドウをスキャン https://www.jstage.jst.go.jp/article/bdajcs/2 /1/2_17/_pdf/-char/ja より引用
31. 31 04 まとめ
32. ▪ データを可視化するだけだと、恣意的かつピークの見落とすリ スク ▪ エシェロン解析を使うと、データを山に見立てた時の階層で データを分類できる ▪ 分類したエシェロンを使うと、連結するエシェロンの集合で圏 を形成できる ▪ エシェロンスキャン法により、ホットスポットやコールドス ポットも検出できる 32 まとめ
33. 33 ▪ 栗原 考次, 石岡 文生「エシェロン解析　階層化して視る次空間デー タ」, 共立出版, 2021年8月 ▪ エシェロン階層構造を利用した森林の分割, データ分析の理論と応用 Vol. 2, No. 1 (2012), 17–31, https://www.jstage.jst.go.jp/article/bdajcs/2/1/2_17/_pdf/-ch ar/ja Reference