Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Yahoo! JAPAN 人流データ活用〜ビックデータの処理と可視化〜 / MIERUNE M...
Search
MIERUNE
PRO
July 13, 2023
0
580
Yahoo! JAPAN 人流データ活用〜ビックデータの処理と可視化〜 / MIERUNE MEETUP 2023
レポート記事『位置情報の見本市「MIERUNE MEETUP 2023」を開催しました!』
https://note.com/mierune/n/nfb71aca8a2ef
MIERUNE
PRO
July 13, 2023
Tweet
Share
More Decks by MIERUNE
See All by MIERUNE
位置情報とオープンソースがやりたくてMIERUNEに転職した話 〜経歴、事例紹介、GISへのいざない〜 / MIERUNE JCT - Tokyo 2024
mierune
PRO
0
400
クロージング / MIERUNE JCT - Tokyo 2024
mierune
PRO
0
290
オープニング / MIERUNE JCT - Tokyo 2024
mierune
PRO
1
340
QGISで簡単にDEMを可視化 - ElevationTile4JP & QuickDEM4JP プラグインのアップデート / FOSS4G TOKAI 2024
mierune
PRO
0
160
ゼロから始める点群可視化 feat.QGIS
mierune
PRO
0
150
MIERUNE BBQにおけるユーザー中心設計()
mierune
PRO
1
590
MIERUNE BBQ #10 in 札幌時計台 オープニング・クロージング
mierune
PRO
0
500
セイコーマートの近くに住みたい!Pythonで到達圏解析
mierune
PRO
1
740
ドラッグストア店員が 独学で化粧品顧客管理アプリを作成した話
mierune
PRO
1
700
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
32k
How To Stay Up To Date on Web Technology
chriscoyier
786
250k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
4
99
No one is an island. Learnings from fostering a developers community.
thoeni
19
2.9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
29
1.7k
Optimising Largest Contentful Paint
csswizardry
31
2.8k
Designing for Performance
lara
604
68k
Fireside Chat
paigeccino
32
2.9k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
23
1.7k
Designing the Hi-DPI Web
ddemaree
279
34k
Transcript
〜ビッグデータの処理と可視化〜 Yahoo! JAPAN 人流データ活用 HISAMOTO Sorami
©Project PLATEAU / MLIT Japan sorami 自己紹介 久本 空海 (HISAMOTO
Sorami) Senior Software Engineer Frontend, Lead 言語処理学会 年次大会プログラム委員 日米の大学での人工知能研究、データ分析会社でのコンサ ルティング、民間研究所でのオープンソース開発、スタート アップでのWebサービス開発などを経て、データ可視化コ ミュニティでMIERUNEに出会い、2022年ジョイン。 sorami @sorami
©OpenStreetMap contributors 01 位置情報と可視化の 重要性
©Project PLATEAU / MLIT Japan 位置情報と可視化の重要性 • 19世紀ロンドンのコレラ大発生 • 当時の科学知識では伝染メカニズム不明
• 医師スノウは、患者宅を地図上に示し、 「ある井戸の周囲に感染者が多い」 との相関を発見 • データ可視化、位置情報活用の先駆け ジョン・スノウのコレラ地図 (1854年) https://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83 %AB:Snow-cholera-map-1.jpg
©Project PLATEAU / MLIT Japan 位置情報と可視化の重要性 •東日本大震災の関連情報収集サイト •被害状況、避難所、安否情報、雇用情報等 •震災発生後、4時間で開設 •ボランティアによる開発・運営
•位置情報が不可欠 sinsai.info (2011年) 地震後4時間足らずでオープンした「sinsai.info」 | 日経クロステック(xTECH) https://xtech.nikkei.com/it/article/COLUMN/20110811/365024/
©Project PLATEAU / MLIT Japan 位置情報と可視化の重要性 •陽性者数、病床数、退院者数、死亡者数、等 •ボランティアによる開発・運営 •厚生労働省が公表するPDFデータから 情報抽出し、自動更新
•位置情報が不可欠 新型コロナウイルス対策ダッシュボード (2020年-) https://www.stopcovid19.jp/
©Project PLATEAU / MLIT Japan 位置情報と可視化の重要性 現代社会における位置情報 • 不可欠な情報レイヤー •
単なる「1レイヤーの図示」から、組み合わせと検討が深められる時代へ ◦ スマホ、クラウド、オープンデータなどの普及 ◦ 関連技術の発展 (後述) • ビジネスや自治体における意思決定にも、位置情報は不可欠 ◦ 「なぜココにコンビニを建設?」 「なんとなく」、ではなく → データドリブン・エビデンスベースの意思決定へ
©OpenStreetMap contributors 02 位置情報を 活用するための技術
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 デスクトップGIS WebGIS • PCへインストールして利用するソフトウェア
• 高度な分析などが可能 • ブラウザ上で利用可能なページやシステム • インストールを要さず、閲覧が容易
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 QGIS • オープンソースのGISソフトウェア •
高度な空間分析、様々なプラグインによる拡張 • MIERUNEではプラグイン開発や講習会も実施 バスなど公共交通の路線可視化 GTFS-GOプラグイン JAXA提供の地球観測衛星データ利用 JAXA Earth APIプラグイン HERE社APIによるルーティング HERE Route APIプラグイン ※ 上記3プラグインはMIERUNE開発
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 MapLibre, Mapbox GL JS
2次元 / 2.5次元のインタラクティブな地図を描画するライブラリ https://heritagemap.nabunken.go.jp/ https://www.asahi.com/special/jiko-kosaten/ 文化財総覧WebGIS - 奈良文化財研究所 60万を超える文化財を地図上へ(MIERUNE開発) “全国100万件の交通事故マップ-みえない交差点” 朝日新聞デジタル
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 MapLibre GL JS 「文化財総覧WebGIS」
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 CesiumJS 3D地理空間情報の可視化ライブラリ https://gsrt.digiarc.aist.go.jp/nabunken_aist/index.html https://www.yomiuri.co.jp/world/ukraine-reconstruction/
3D DB Viewer - 産総研 様々な三次元データ(点群,メッシュ,構造物等) “ウクライナ 戦時下の復興 キーウ近郊からの報告” 読売新聞オンライン, 特別協力:渡邉英徳・東京大学大学院教授
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 CesiumJS 「産総研 3DDB ビューアー」
©Project PLATEAU / MLIT Japan 位置情報を活用するための技術 deck.gl データ可視化のためのフレームワーク https://next.carto.com https://vdata.nikkei.com/newsgraphics/land-value-map/
トラック群による電力供給の可能性 CARTO, Google “あなたの街の地価は? マップで見る上昇と下落” 日本経済新聞
©OpenStreetMap contributors 03 事例: Yahoo! JAPAN 人口統計データの可視化
©Project PLATEAU / MLIT Japan Yahoo! JAPAN 事例紹介 Partner https://www.mierune.co.jp/news/posts/y7z4__1_b?lang=ja
©Project PLATEAU / MLIT Japan Yahoo! JAPAN 事例紹介 •位置情報を活用した人口統計 •月間数千万人の許諾データ
◦ 統計化、匿名化の上で利用 •広域エリアや大量エリアの分析にも対応 •人流に加え、様々なマルチデータを活用可能 ◦ 検索データ, 性別・年代, 購買データ, 興味関 心, 位置情報データ, 遷移先・遷移元データ … ヤフー・データソリューション DS.DATASET 人口統計データ https://ds.yahoo.co.jp/service/dataset/location.html
©Project PLATEAU / MLIT Japan Yahoo! JAPAN 事例紹介 基盤地図情報 国土数値情報
店舗情報 POS 購買履歴 ユーザー行動 詳細な気象情報 3D都市モデル ・・・ ・・・ ・・・ 高解像度の衛星画像 OPEN SHARED CLOSED オープンなデータ 入手可能なデータ 組織内のデータ デ ー タ 基 盤 認証機能含む データソース データの 連携と提供 ダッシュボード 分析環境 アプリ API 提供 データの活用
©Project PLATEAU / MLIT Japan Yahoo! JAPAN 事例紹介 OPEN SHARED
CLOSED 地表面温度 衛星データ POS 購買履歴 LandBrowser, 地球観測衛星LANDSATデータ https://gsrt.digiarc.aist.go.jp/landbrowser/ メッシュ人口統計 例えば... 飲料の需要予測 需要に影響すると想定される エリアごとの温度 この他、都市区域や施設等々、様々な情報も参考になる可能性
©Project PLATEAU / MLIT Japan Yahoo! JAPAN 事例紹介 OPEN SHARED
CLOSED 地表面温度 衛星データ POS 購買履歴 LandBrowser, 地球観測衛星LANDSATデータ https://gsrt.digiarc.aist.go.jp/landbrowser/ メッシュ人口統計 例えば... 飲料の需要予測 「年代」や「居住地」といった セグメント情報なども含む人流情報 検索データなどヤフーのマルチデータも活用可能
©Project PLATEAU / MLIT Japan Yahoo! JAPAN 事例紹介 OPEN SHARED
CLOSED 地表面温度 衛星データ POS 購買履歴 LandBrowser, 地球観測衛星LANDSATデータ https://gsrt.digiarc.aist.go.jp/landbrowser/ メッシュ人口統計 例えば... 飲料の需要予測 企業内に存在するクローズドな情報 他のデータとの組み合わせで、活用の可能性が発展
©OpenStreetMap contributors まとめ
©Project PLATEAU / MLIT Japan まとめ 基盤地図情報 国土数値情報 店舗情報 POS
購買履歴 ユーザー行動 詳細な気象情報 3D都市モデル ・・・ ・・・ ・・・ 高解像度の衛星画像 OPEN SHARED CLOSED オープンなデータ 入手可能なデータ 組織内のデータ デ ー タ 基 盤 認証機能含む データソース データの 連携と提供 ダッシュボード 分析環境 アプリ API 提供 データの活用
© 地理院地図 全国最新写真(シームレス) • エビデンスベースの意思決定へ、位置情報は不可欠 • 特にWeb領域での可視化技術は、急激に進歩 • 「ヤフー・データソリューション」をはじめ様々なデータを 組み合わせることで、新たな課題理解と解決へ
まとめ
© 地理院地図 全国最新写真(シームレス) 位置情報を軸に 様々な情報を組み合わせることで これまで見えなかったものが みえるね まとめ