Yahoo! JAPAN 人流データ活用〜ビックデータの処理と可視化〜 / MIERUNE MEETUP 2023

レポート記事『位置情報の見本市「MIERUNE MEETUP 2023」を開催しました！』
https://note.com/mierune/n/nfb71aca8a2ef

Transcript

1. 〜ビッグデータの処理と可視化〜
   Yahoo! JAPAN
   人流データ活用
   HISAMOTO Sorami
   

   View Slide

2. ©Project PLATEAU / MLIT Japan
   sorami
   自己紹介
   久本 空海 （HISAMOTO Sorami）
   Senior Software Engineer
   Frontend, Lead
   言語処理学会 年次大会プログラム委員
   日米の大学での人工知能研究、データ分析会社でのコンサ
   ルティング、民間研究所でのオープンソース開発、スタート
   アップでのWebサービス開発などを経て、データ可視化コ
   ミュニティでMIERUNEに出会い、2022年ジョイン。
   sorami @sorami
   

   View Slide

3. ©OpenStreetMap contributors
   01
   位置情報と可視化の
   重要性
   

   View Slide

4. ©Project PLATEAU / MLIT Japan
   位置情報と可視化の重要性
   ● 19世紀ロンドンのコレラ大発生
   ● 当時の科学知識では伝染メカニズム不明
   ● 医師スノウは、患者宅を地図上に示し、
   「ある井戸の周囲に感染者が多い」
   との相関を発見
   ● データ可視化、位置情報活用の先駆け
   ジョン・スノウのコレラ地図 （1854年）
   https://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83
   %AB:Snow-cholera-map-1.jpg
   

   View Slide

5. ©Project PLATEAU / MLIT Japan
   位置情報と可視化の重要性
   ●東日本大震災の関連情報収集サイト
   ●被害状況、避難所、安否情報、雇用情報等
   ●震災発生後、4時間で開設
   ●ボランティアによる開発・運営
   ●位置情報が不可欠
   sinsai.info （2011年）
   地震後4時間足らずでオープンした「sinsai.info」 | 日経クロステック（xTECH）
   https://xtech.nikkei.com/it/article/COLUMN/20110811/365024/
   

   View Slide

6. ©Project PLATEAU / MLIT Japan
   位置情報と可視化の重要性
   ●陽性者数、病床数、退院者数、死亡者数、等
   ●ボランティアによる開発・運営
   ●厚生労働省が公表するPDFデータから
   情報抽出し、自動更新
   ●位置情報が不可欠
   新型コロナウイルス対策ダッシュボード （2020年-）
   https://www.stopcovid19.jp/
   

   View Slide

7. ©Project PLATEAU / MLIT Japan
   位置情報と可視化の重要性
   現代社会における位置情報
   ● 不可欠な情報レイヤー
   ● 単なる「1レイヤーの図示」から、組み合わせと検討が深められる時代へ
   ○ スマホ、クラウド、オープンデータなどの普及
   ○ 関連技術の発展 （後述）
   ● ビジネスや自治体における意思決定にも、位置情報は不可欠
   ○ 「なぜココにコンビニを建設？」 「なんとなく」、ではなく
   → データドリブン・エビデンスベースの意思決定へ
   

   View Slide

8. ©OpenStreetMap contributors
   02
   位置情報を
   活用するための技術
   

   View Slide

9. ©Project PLATEAU / MLIT Japan
   位置情報を活用するための技術
   デスクトップGIS WebGIS
   ● PCへインストールして利用するソフトウェア
   ● 高度な分析などが可能
   ● ブラウザ上で利用可能なページやシステム
   ● インストールを要さず、閲覧が容易
   

   View Slide

10. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    QGIS ● オープンソースのGISソフトウェア
    ● 高度な空間分析、様々なプラグインによる拡張
    ● MIERUNEではプラグイン開発や講習会も実施
    バスなど公共交通の路線可視化
    GTFS-GOプラグイン
    JAXA提供の地球観測衛星データ利用
    JAXA Earth APIプラグイン
    HERE社APIによるルーティング
    HERE Route APIプラグイン
    ※ 上記3プラグインはMIERUNE開発
    

    View Slide

11. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    MapLibre, Mapbox GL JS
    2次元 / 2.5次元のインタラクティブな地図を描画するライブラリ
    https://heritagemap.nabunken.go.jp/ https://www.asahi.com/special/jiko-kosaten/
    文化財総覧WebGIS - 奈良文化財研究所
    60万を超える文化財を地図上へ（MIERUNE開発）
    “全国100万件の交通事故マップ-みえない交差点”
    朝日新聞デジタル
    

    View Slide

12. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    MapLibre GL JS　「文化財総覧WebGIS」
    

    View Slide

13. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    CesiumJS
    3D地理空間情報の可視化ライブラリ
    https://gsrt.digiarc.aist.go.jp/nabunken_aist/index.html https://www.yomiuri.co.jp/world/ukraine-reconstruction/
    3D DB Viewer - 産総研
    様々な三次元データ（点群,メッシュ,構造物等）
    “ウクライナ 戦時下の復興 キーウ近郊からの報告”
    読売新聞オンライン, 特別協力：渡邉英徳・東京大学大学院教授
    

    View Slide

14. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    CesiumJS　「産総研 3DDB ビューアー」
    

    View Slide

15. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    deck.gl
    データ可視化のためのフレームワーク
    https://next.carto.com https://vdata.nikkei.com/newsgraphics/land-value-map/
    トラック群による電力供給の可能性
    CARTO, Google
    “あなたの街の地価は？　マップで見る上昇と下落”
    日本経済新聞
    

    View Slide

16. ©OpenStreetMap contributors
    03
    事例: Yahoo! JAPAN
    人口統計データの可視化
    

    View Slide

17. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    Partner
    https://www.mierune.co.jp/news/posts/y7z4__1_b?lang=ja
    

    View Slide

18. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    ●位置情報を活用した人口統計
    ●月間数千万人の許諾データ
    ○ 統計化、匿名化の上で利用
    ●広域エリアや大量エリアの分析にも対応
    ●人流に加え、様々なマルチデータを活用可能
    ○ 検索データ, 性別・年代, 購買データ, 興味関
    心, 位置情報データ, 遷移先・遷移元データ …
    ヤフー・データソリューション
    DS.DATASET 人口統計データ
    https://ds.yahoo.co.jp/service/dataset/location.html
    

    View Slide

19. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    基盤地図情報
    国土数値情報
    店舗情報
    POS 購買履歴
    ユーザー行動
    詳細な気象情報
    3D都市モデル
    ・・・ ・・・ ・・・
    高解像度の衛星画像
    OPEN SHARED CLOSED
    オープンなデータ 入手可能なデータ 組織内のデータ
    デ ー タ 基 盤 認証機能含む
    データソース
    データの
    連携と提供
    　　
    ダッシュボード 　　 分析環境 　　 アプリ
    API
    提供
    データの活用
    

    View Slide

20. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    OPEN SHARED CLOSED
    地表面温度 衛星データ POS 購買履歴
    LandBrowser, 地球観測衛星LANDSATデータ
    https://gsrt.digiarc.aist.go.jp/landbrowser/
    メッシュ人口統計
    例えば... 飲料の需要予測
    需要に影響すると想定される
    エリアごとの温度
    この他、都市区域や施設等々、様々な情報も参考になる可能性
    

    View Slide

21. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    OPEN SHARED CLOSED
    地表面温度 衛星データ POS 購買履歴
    LandBrowser, 地球観測衛星LANDSATデータ
    https://gsrt.digiarc.aist.go.jp/landbrowser/
    メッシュ人口統計
    例えば... 飲料の需要予測
    「年代」や「居住地」といった
    セグメント情報なども含む人流情報
    検索データなどヤフーのマルチデータも活用可能
    

    View Slide

22. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    OPEN SHARED CLOSED
    地表面温度 衛星データ POS 購買履歴
    LandBrowser, 地球観測衛星LANDSATデータ
    https://gsrt.digiarc.aist.go.jp/landbrowser/
    メッシュ人口統計
    例えば... 飲料の需要予測
    企業内に存在するクローズドな情報
    他のデータとの組み合わせで、活用の可能性が発展
    

    View Slide

23. ©OpenStreetMap contributors
    まとめ
    

    View Slide

24. ©Project PLATEAU / MLIT Japan
    まとめ
    基盤地図情報
    国土数値情報
    店舗情報
    POS 購買履歴
    ユーザー行動
    詳細な気象情報
    3D都市モデル
    ・・・ ・・・ ・・・
    高解像度の衛星画像
    OPEN SHARED CLOSED
    オープンなデータ 入手可能なデータ 組織内のデータ
    デ ー タ 基 盤 認証機能含む
    データソース
    データの
    連携と提供
    　　
    ダッシュボード 　　 分析環境 　　 アプリ
    API
    提供
    データの活用
    

    View Slide

25. © 地理院地図 全国最新写真（シームレス）
    ● エビデンスベースの意思決定へ、位置情報は不可欠
    ● 特にWeb領域での可視化技術は、急激に進歩
    ● 「ヤフー・データソリューション」をはじめ様々なデータを
    組み合わせることで、新たな課題理解と解決へ
    まとめ
    

    View Slide

26. © 地理院地図 全国最新写真（シームレス）
    位置情報を軸に
    様々な情報を組み合わせることで
    これまで見えなかったものが
    みえるね
    まとめ
    

    View Slide