Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Yahoo! JAPAN 人流データ活用〜ビックデータの処理と可視化〜 / MIERUNE MEETUP 2023

MIERUNE
PRO
July 13, 2023
140

Yahoo! JAPAN 人流データ活用〜ビックデータの処理と可視化〜 / MIERUNE MEETUP 2023

レポート記事『位置情報の見本市「MIERUNE MEETUP 2023」を開催しました!』
https://note.com/mierune/n/nfb71aca8a2ef

MIERUNE
PRO

July 13, 2023
Tweet

More Decks by MIERUNE

Transcript

  1. 〜ビッグデータの処理と可視化〜
    Yahoo! JAPAN
    人流データ活用
    HISAMOTO Sorami

    View Slide

  2. ©Project PLATEAU / MLIT Japan
    sorami
    自己紹介
    久本 空海 (HISAMOTO Sorami)
    Senior Software Engineer
    Frontend, Lead
    言語処理学会 年次大会プログラム委員
    日米の大学での人工知能研究、データ分析会社でのコンサ
    ルティング、民間研究所でのオープンソース開発、スタート
    アップでのWebサービス開発などを経て、データ可視化コ
    ミュニティでMIERUNEに出会い、2022年ジョイン。
    sorami @sorami

    View Slide

  3. ©OpenStreetMap contributors
    01
    位置情報と可視化の
    重要性

    View Slide

  4. ©Project PLATEAU / MLIT Japan
    位置情報と可視化の重要性
    ● 19世紀ロンドンのコレラ大発生
    ● 当時の科学知識では伝染メカニズム不明
    ● 医師スノウは、患者宅を地図上に示し、
    「ある井戸の周囲に感染者が多い」
    との相関を発見
    ● データ可視化、位置情報活用の先駆け
    ジョン・スノウのコレラ地図 (1854年)
    https://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83
    %AB:Snow-cholera-map-1.jpg

    View Slide

  5. ©Project PLATEAU / MLIT Japan
    位置情報と可視化の重要性
    ●東日本大震災の関連情報収集サイト
    ●被害状況、避難所、安否情報、雇用情報等
    ●震災発生後、4時間で開設
    ●ボランティアによる開発・運営
    ●位置情報が不可欠
    sinsai.info (2011年)
    地震後4時間足らずでオープンした「sinsai.info」 | 日経クロステック(xTECH)
    https://xtech.nikkei.com/it/article/COLUMN/20110811/365024/

    View Slide

  6. ©Project PLATEAU / MLIT Japan
    位置情報と可視化の重要性
    ●陽性者数、病床数、退院者数、死亡者数、等
    ●ボランティアによる開発・運営
    ●厚生労働省が公表するPDFデータから
    情報抽出し、自動更新
    ●位置情報が不可欠
    新型コロナウイルス対策ダッシュボード (2020年-)
    https://www.stopcovid19.jp/

    View Slide

  7. ©Project PLATEAU / MLIT Japan
    位置情報と可視化の重要性
    現代社会における位置情報
    ● 不可欠な情報レイヤー
    ● 単なる「1レイヤーの図示」から、組み合わせと検討が深められる時代へ
    ○ スマホ、クラウド、オープンデータなどの普及
    ○ 関連技術の発展 (後述)
    ● ビジネスや自治体における意思決定にも、位置情報は不可欠
    ○ 「なぜココにコンビニを建設?」 「なんとなく」、ではなく
    → データドリブン・エビデンスベースの意思決定へ

    View Slide

  8. ©OpenStreetMap contributors
    02
    位置情報を
    活用するための技術

    View Slide

  9. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    デスクトップGIS WebGIS
    ● PCへインストールして利用するソフトウェア
    ● 高度な分析などが可能
    ● ブラウザ上で利用可能なページやシステム
    ● インストールを要さず、閲覧が容易

    View Slide

  10. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    QGIS ● オープンソースのGISソフトウェア
    ● 高度な空間分析、様々なプラグインによる拡張
    ● MIERUNEではプラグイン開発や講習会も実施
    バスなど公共交通の路線可視化
    GTFS-GOプラグイン
    JAXA提供の地球観測衛星データ利用
    JAXA Earth APIプラグイン
    HERE社APIによるルーティング
    HERE Route APIプラグイン
    ※ 上記3プラグインはMIERUNE開発

    View Slide

  11. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    MapLibre, Mapbox GL JS
    2次元 / 2.5次元のインタラクティブな地図を描画するライブラリ
    https://heritagemap.nabunken.go.jp/ https://www.asahi.com/special/jiko-kosaten/
    文化財総覧WebGIS - 奈良文化財研究所
    60万を超える文化財を地図上へ(MIERUNE開発)
    “全国100万件の交通事故マップ-みえない交差点”
    朝日新聞デジタル

    View Slide

  12. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    MapLibre GL JS 「文化財総覧WebGIS」

    View Slide

  13. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    CesiumJS
    3D地理空間情報の可視化ライブラリ
    https://gsrt.digiarc.aist.go.jp/nabunken_aist/index.html https://www.yomiuri.co.jp/world/ukraine-reconstruction/
    3D DB Viewer - 産総研
    様々な三次元データ(点群,メッシュ,構造物等)
    “ウクライナ 戦時下の復興 キーウ近郊からの報告”
    読売新聞オンライン, 特別協力:渡邉英徳・東京大学大学院教授

    View Slide

  14. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    CesiumJS 「産総研 3DDB ビューアー」

    View Slide

  15. ©Project PLATEAU / MLIT Japan
    位置情報を活用するための技術
    deck.gl
    データ可視化のためのフレームワーク
    https://next.carto.com https://vdata.nikkei.com/newsgraphics/land-value-map/
    トラック群による電力供給の可能性
    CARTO, Google
    “あなたの街の地価は? マップで見る上昇と下落”
    日本経済新聞

    View Slide

  16. ©OpenStreetMap contributors
    03
    事例: Yahoo! JAPAN
    人口統計データの可視化

    View Slide

  17. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    Partner
    https://www.mierune.co.jp/news/posts/y7z4__1_b?lang=ja

    View Slide

  18. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    ●位置情報を活用した人口統計
    ●月間数千万人の許諾データ
    ○ 統計化、匿名化の上で利用
    ●広域エリアや大量エリアの分析にも対応
    ●人流に加え、様々なマルチデータを活用可能
    ○ 検索データ, 性別・年代, 購買データ, 興味関
    心, 位置情報データ, 遷移先・遷移元データ …
    ヤフー・データソリューション
    DS.DATASET 人口統計データ
    https://ds.yahoo.co.jp/service/dataset/location.html

    View Slide

  19. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    基盤地図情報
    国土数値情報
    店舗情報
    POS 購買履歴
    ユーザー行動
    詳細な気象情報
    3D都市モデル
    ・・・ ・・・ ・・・
    高解像度の衛星画像
    OPEN SHARED CLOSED
    オープンなデータ 入手可能なデータ 組織内のデータ
    デ ー タ 基 盤 認証機能含む
    データソース
    データの
    連携と提供
      
    ダッシュボード    分析環境    アプリ
    API
    提供
    データの活用

    View Slide

  20. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    OPEN SHARED CLOSED
    地表面温度 衛星データ POS 購買履歴
    LandBrowser, 地球観測衛星LANDSATデータ
    https://gsrt.digiarc.aist.go.jp/landbrowser/
    メッシュ人口統計
    例えば... 飲料の需要予測
    需要に影響すると想定される
    エリアごとの温度
    この他、都市区域や施設等々、様々な情報も参考になる可能性

    View Slide

  21. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    OPEN SHARED CLOSED
    地表面温度 衛星データ POS 購買履歴
    LandBrowser, 地球観測衛星LANDSATデータ
    https://gsrt.digiarc.aist.go.jp/landbrowser/
    メッシュ人口統計
    例えば... 飲料の需要予測
    「年代」や「居住地」といった
    セグメント情報なども含む人流情報
    検索データなどヤフーのマルチデータも活用可能

    View Slide

  22. ©Project PLATEAU / MLIT Japan
    Yahoo! JAPAN 事例紹介
    OPEN SHARED CLOSED
    地表面温度 衛星データ POS 購買履歴
    LandBrowser, 地球観測衛星LANDSATデータ
    https://gsrt.digiarc.aist.go.jp/landbrowser/
    メッシュ人口統計
    例えば... 飲料の需要予測
    企業内に存在するクローズドな情報
    他のデータとの組み合わせで、活用の可能性が発展

    View Slide

  23. ©OpenStreetMap contributors
    まとめ

    View Slide

  24. ©Project PLATEAU / MLIT Japan
    まとめ
    基盤地図情報
    国土数値情報
    店舗情報
    POS 購買履歴
    ユーザー行動
    詳細な気象情報
    3D都市モデル
    ・・・ ・・・ ・・・
    高解像度の衛星画像
    OPEN SHARED CLOSED
    オープンなデータ 入手可能なデータ 組織内のデータ
    デ ー タ 基 盤 認証機能含む
    データソース
    データの
    連携と提供
      
    ダッシュボード    分析環境    アプリ
    API
    提供
    データの活用

    View Slide

  25. © 地理院地図 全国最新写真(シームレス)
    ● エビデンスベースの意思決定へ、位置情報は不可欠
    ● 特にWeb領域での可視化技術は、急激に進歩
    ● 「ヤフー・データソリューション」をはじめ様々なデータを
    組み合わせることで、新たな課題理解と解決へ
    まとめ

    View Slide

  26. © 地理院地図 全国最新写真(シームレス)
    位置情報を軸に
    様々な情報を組み合わせることで
    これまで見えなかったものが
    みえるね
    まとめ

    View Slide