20260305_【白金鉱業】分析者が地理情報を武器にするための軽量なアドホック分析環境

https://brainpad-meetup.connpass.com/event/382273/
https://docs.google.com/presentation/d/1NFa0hBXMlvGdyBloCROY69h2ChRQdTZlYu2G_lt0T1M/edit?usp=sharing
風邪で登壇できず。。。

Transcript

1. 分析者が地理情報を武器にするための 軽量なアドホック分析環境 金田 佑哉 2026/03/05
2. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) 自己紹介/Self introduction 2 所属チーム Team Weathernews 陸上気象事業部/Data Analytics & Providing Team 経歴 History ・~ 2018年3月 大学で素粒子理論を研究していました ・2018年4月 ~ 2022年1月 受託分析会社のデータサイエンティスト ・2022年2月 ~ Weathernews 現在の仕事内容 Current job ・顧客との気象コンサル ・新規プロダクトのネタを検討・開発 ・データサイエンスチームのマネージャー コメント Comments ・地理情報も扱うデータサイエンティストではありますが、 　地理情報の専門家ではないです。。。 金田　佑哉 KANETA Yuya 出身 : 茨城県 yucho147
3. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) ウェザーニューズの主な顧客 実はBtoBの売り上げがBtoCを上回っています。企業向けの個別の気象や非気象の分析案件などがありま す。 3 Land 28.0% Sea 25.4% Sky 6.1% Internet 36.9% Other 3.6% ¥12,133M toB toC 売上の半分以上が BtoB 【スクリプト】2026年5月期 第2四半期決算説明会 | Weathernews Inc. 2026年5月期 上半期 売上ポートフォリオ
4. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) 気象会社におけるGeoデータの活用例 気象分析は、複数のGeoデータを統合し、特徴量として活用することで成立しています。 4 気象Geoデータ 観測点(Point) レーダー・衛星(Raster/Polygon) 非気象Geoデータ 道路・鉄道(Line) 行政区分(Polygon) 地形情報(Raster/Polygon) 拠点(Point) 設備位置(Point) 顧客Geoデータ Geo分析 特徴量生成 / Spatial Join / 距離計算 / 機械学習 DuckDB / SQL / Python 可視化 / リスク評価 / 気象予測 プロダクト開発 / 気象コンサル 成果・価値
5. 地理情報データ
6. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) ジョン・スノウのコレラ地図 位置を可視化することで、見えなかった関係が見えた事例としての先駆けとなっています。 6 File:Snow-cholera-map-1.jpg - Wikipedia • 1854年 ロンドンでコレラが流行 • 死亡者の位置を地図に可視化 • 被害が特定の井戸周辺に集中していることを 発見 • 水が感染源であると特定 → 位置情報が、因果の仮説を導いた
7. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) Geoデータは、仮説検証を加速する 位置は、異なるデータを結びつけて仮説を検証するキー(JOINキー)になります。 7 仮説 事故は特定の 交差点に多い? Geoデータ分析 検証 ユーザーの位置情報から、 道路の混雑状況を推定できる? ある地点で雪が降ると、 周辺のどの地点に影響が及ぶ? 事故位置を交差点に紐づけて集計 ユーザーの位置(Point)を 道路(Line)に紐づけて 滞留密度を集計すると 観測点(Point)同士の 位置関係をもとに分析すると 特定の交差点に 集中している 特定の道路区間で 発生している 特定の地域で降雪が発生する Geo分析は、位置をキーにデータを統合し、仮説検証を可能にする Point × Point Point × Line Point × Polygon オープンデータが多いことも強み
8. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) Geoデータは、分析者にとって扱いにくい Geoデータは、分析者のワークフローの外にあることが多いです。 8 入力データ CSV, Parquet 分析環境 出力 GeoJSON, Shapefile Geoparquet, WKT, … Python GISツール Geo対応DB(PostGISなど) (専用環境) ↓ Python / SQL 分析・可視化・モデリング 分析・可視化・モデリング 通常の分析 Geo分析 フォーマットが特殊で多様 GeoデータはCSVやParquetのように統一され ておらず、読み込み時点で障壁になりやすい。 →まず開くところから大変 専用ツール・DBが必要になることが多い Geo分析ではGISやPostGISなどの専用ツール を経由する場面があり、分析の準備コストが高 くなる。 →普段の分析環境だけで完結しない 分析ワークフローから分離される Geo分析は通常の分析フローの外で処理される ことが多く、仮説検証のスピードを下げてしま う。 →いつもの分析の延長で扱えない Python単体ではスケーラブルに扱いにくい Geo処理はPythonでも可能だが、大規模デー タでは処理が遅くなりやすい。 →データが増えると急に重くなる
9. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) 本日のゴール 持ち帰って欲しいメッセージ 9 Geoデータは、特別なものではない Geoデータは、仮説検証を加速する道具である Geoデータは、軽量な分析環境で扱える
10. アドホックGeo分析
11. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) タイプ 意味 例 分析での役割 Point 位置 気象観測点、ユーザー位置、構 造物の位置 観測・イベントの発生地点 LineString 経路 道路、鉄道路線 路線・区間ごとの影響分析 Polygon 領域 メッシュ、行政区 エリア単位でのリスク評価 Geoデータの3タイプ Geoデータは、位置・経路・領域の3つで表現されます。 11
12. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) 軽量アドホック分析の構成例 DuckDBを活用することで、Geo分析を通常の分析と同じ構成で扱えます。 12 Geoデータ DuckDB 仮説検証 Point / Line / Polygon 観測点・道路・メッシュなど Spatial Extension Spatial Join・集計・特徴量生成 可視化・集計・モデルによる 仮説検証 Geoデータも、DuckDBで結合・集計することで、 通常の分析と同じように扱えます SQLを書けなくても、今の時代クエリはLLMに任せれば良い感覚
13. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) DuckDB 分析者のワークフローの中で動作するSQL分析エンジンであり、PostGISのような専用DBを構築せずに、 SQL分析が可能になります。 13 ✔ サーバ不要 Python内で動くインプロセスDB ✔ ファイル直接 CSV/ParquetをそのままSQLで処理 ✔ ソース横断 ローカル/S3/GCSなどを同じ書き方でクエリ ✔ 高速・省メモリ 最適化されたSQL実行により大規模データも効率化実行
14. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) DuckDB Spatial Extension Spatial Extension DuckDBにGeo処理機能を追加し、SQLで空間データを直接扱えるようにする拡張です。 14 ✔ Geometry型をサポート POINT / LINESTRING / POLYGONなどを直接扱える ✔ SQLで空間演算が可能 距離・面積・交差・包含などをSQLで計算できる ✔ Geoファイルを直接読み込み可能 Shapefile / GeoJSON / OSMなどを直接読み込める ✔ DuckDBの高速エンジン上で動作 通常の分析と同じワークフローでGeo分析が可能 DuckDBにSpatial Extensionを追加するだけで、Geo分析が可能になります
15. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) ✔ httpfs Extensionとは S3 / HTTPS上のファイルを直接読み込めます 事前ダウンロードは不要です ✔ Overture Mapsとは オープンなグローバルGeoデータセットです 建物・道路・行政界・施設情報などを含みます Parquet形式で公開されています 【補足】httpfs Extension × Overture Maps S3上の大規模Geoデータを、直接クエリできます。 15 httpfs Extension for HTTP and S3 Support – DuckDB Overture Maps Foundation
16. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) station_id prefecture Spatial Joinの例: 観測点と行政区域の結合 位置関係をキーとして、異なるGeoデータを結合できます。 16 ✔ 観測点(Point) ✔ 行政区域(Polygon) 201 Tokyo 202 Tokyo 203 Tokyo Geoデータも、通常のJOINと同じようにSQLで結合できます 東京都 ST_Within : ある位置（Point）が、エリア（Polygon）の内側にあるかを判定する関数 © Overture Maps Foundation
17. 実践編
18. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) ✔ S3上のGeoParquetをそのまま読む ✔ GISやDB構築は不要 ✔ 通常のSQLと同じ書き方 東京都のPolygon取得 Geoデータを直接クエリできます。 18
19. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) ✔ ST_Withinは「内側にあるか」を判定 ✔ 点がポリゴンの中にある場合に結合 ✔ 空間条件も、JOINの条件として書ける Geoデータを結合 位置関係を使って、通常のJOINと同じようにデータを結合できます。 19
20. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) ✔ 可視化に落としやすい ✔ 特徴量としてそのままモデルに使える ✔ 解像度を変えて空間スケールを制御できる 日本域のH3メッシュ Geoデータの集計 位置データも、通常のGROUP BYと同じように集計できます。 20 H3
21. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) 東京都のカフェ密度分布 これまでの応用として、東京都のカフェ密度を可視化してみました。 21 https://www.yuyakaneta.page/place_density_h3_map.html https://gist.github.com/yucho147/fa9b2e672f3fb938e652f4835f906aea © OpenStreetMap contributors, Overture Maps Foundation
22. まとめ
23. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) まとめ 23 Geoデータは、特別なものではない Geoデータは、仮説検証を加速する道具である Geoデータは、DuckDBなどの分析環境を用いる ことで、大規模データでも効率的に扱える
24. 最後に
25. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) 個人的な夢 個人の社内の目標として下記の事柄を掲げています。 25 1. 気象業界で働くデータサイエンティストを一人でも多く増やす 2. あわよくば「気象業界でのデータ分析会社と言ったらウェザーニューズ」 と言われるようになる 上記に向けての一歩になれば良いなーと考えており、 興味がある人は声をかけていただけると自分は助かります。 個人的にGeo・宇宙開発関係の方々とあまり交流の機会がなかったので、参加したかった。。。 Twitterでもご連絡いただけると嬉しいです
26. Appendix
27. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) Data Analytics & Providing Team ミッションステートメント 『分析を通してデータを生成し、価値を生み出す』 27 ◦ 「分析」 ▪ 気象データに限らず、非気象データ（ビジネスデータ）、運営知見なども分析対象とする ◦ 「データを生成」 ▪ 実況から展開される解析データ〜予測データをターゲットとする。 ▪ 分析レポートを作ることがゴールではない。 ▪ 予測に繋がるデータを生み出すことを目指す。 ◦ 「価値を生み出す」 ▪ 利益に結びつける部分も考える。データを作りっぱなしにしない。 • 新しいコンテンツを生み出して売上を増やす • 運営のデジタル化によりサービス提供原価を下げる ▪ 交通気象Planningとして陸・海・空のシナジーを効かせる
28. 金田 佑哉 / 25 白金鉱業 Meetup Vol.22@六本木 (Geoデータ / 位置情報・地理空間編) Data Analytics & Providing Team ミッションステートメント 『分析を通してデータを生成し、価値を生み出す』 28 ◦ 「分析」 ▪ 気象データに限らず、非気象データ（ビジネスデータ）、運営知見なども分析対象とする ◦ 「データを生成」 ▪ 実況から展開される解析データ〜予測データをターゲットとする。 ▪ 分析レポートを作ることがゴールではない。 ▪ 予測に繋がるデータを生み出すことを目指す。 ◦ 「価値を生み出す」 ▪ 利益に結びつける部分も考える。データを作りっぱなしにしない。 • 新しいコンテンツを生み出して売上を増やす • 運営のデジタル化によりサービス提供原価を下げる ▪ 交通気象Planningとして陸・海・空のシナジーを効かせる 要するに 「気象会社」の 「データサイエンティスト」のチーム