Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
位置情報ビッグデータをインタラクティブに分析できるようになるまで
Search
NAVITIME JAPAN
PRO
October 04, 2017
Research
0
26
位置情報ビッグデータをインタラクティブに分析できるようになるまで
Minami Aoyama Night#4での発表資料です。
NAVITIME JAPAN
PRO
October 04, 2017
Tweet
Share
More Decks by NAVITIME JAPAN
See All by NAVITIME JAPAN
つよつよリーダーが 抜けたらどうする? 〜ナビタイムのAgile⽀援組織の変遷〜
navitimejapan
PRO
23
15k
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
3
560
安全で使いやすいCarPlayアプリの 魅せ方:HIGと実例から学ぶ
navitimejapan
PRO
1
200
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
navitimejapan
PRO
6
2.7k
ユーザーのためなら 『デザイン』 以外にも手を伸ばせる
navitimejapan
PRO
2
1.4k
フツーのIT女子が、 Engineering Managerになるまで
navitimejapan
PRO
3
320
不確実性に打ち勝つOKR戦略/How to manage uncertainty with OKR strategy
navitimejapan
PRO
4
3.4k
アジャイルを小さいままで 組織に広める 二周目 / Agile Transformation in NAVITIME JAPAN iteration 2
navitimejapan
PRO
4
1.3k
変更障害率0%よりも「継続的な学習と実験」を価値とする 〜障害を「起こってはならないもの」としていた組織がDirtの実施に至るまで〜 / DevOps Transformation in NAVITIME JAPAN
navitimejapan
PRO
7
5.5k
Other Decks in Research
See All in Research
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
430
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
210
Security, Privacy, and Trust in Generative AI
tsubasashi
0
120
知識強化言語モデルLUKE @ LUKEミートアップ
ikuyamada
0
450
Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications
satai
3
370
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1k
言語モデルの内部機序:解析と解釈
eumesy
PRO
39
17k
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
140
20250226 NLP colloquium: "SoftMatcha: 10億単語規模コーパス検索のための柔らかくも高速なパターンマッチャー"
de9uch1
0
400
Satellite Sunroof: High-res Digital Surface Models and Roof Segmentation for Global Solar Mapping
satai
3
320
学生向けアンケート<データサイエンティストについて>
datascientistsociety
PRO
0
1.4k
Dynamic World, Near real-time global 10 m land use land cover mapping
satai
3
230
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
41
2.3k
The Straight Up "How To Draw Better" Workshop
denniskardys
233
140k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Gamification - CAS2011
davidbonilla
81
5.3k
The Cost Of JavaScript in 2023
addyosmani
49
7.9k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
19
1.2k
Facilitating Awesome Meetings
lara
54
6.4k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
720
Transcript
位置情報ビッグデータをインタラクティブに分析できるようになるまで 株式会社ナビタイムジャパン 交通コンサルティング事業部 塚本 周平 1
自己紹介 2
自己紹介 塚本 周平 株式会社ナビタイムジャパン • 交通コンサルティング事業部 • 2016年入社 • プログラマー
◦ データ分析, データ分析アプリケーション開発 etc... 3
交通コンサルティング 事業紹介 4
交通コンサルティング事業紹介 5
交通コンサルティング事業紹介 業務事例 • 主なクライアント ◦ 官公庁 ◦ 自治体 ◦ 道路事業者
◦ 公共交通事業者 ◦ 大学 ◦ コンサルタント ◦ etc... 6
分析事例 • 経路検索条件データ ◦ 検索ログをアソシエーション分析 ◦ アウトレット間の競合関係を可視化 交通コンサルティング事業紹介 [ 発表先
] 第54回土木計画学研究発表会 論文: http://consulting.navitime.biz/pdf/monograph_20 161105_1.pdf 発表資料: http://consulting.navitime.biz/pdf/presentation_2 0161105_1.pdf 7
分析の進め方 8
• 仮説検証サイクルを繰り返す事で分析を行う ◦ サイクルを繰り返すほど分析が深度化 分析の進め方 データ作成 仮説立案 可視化 検証 交通コンサルタントに
よる仮説設定 ビッグデータから 分析対象を抽出 データのグラフ化 / 地図上へ描画 仮説の妥当性を検証 できる限り高速にサイクルを回し たい 9
• 工程ごとに要求されるスキルセットが異なる 仮説立案 データ作成 可視化 検証 Data Engineers Data Visualization
Engeneers Data Scientists 分析の進め方 10
• 受注業務の場合、クライアントと分析要件の調整が必要 分析の進め方 Clients 11
• 分析業務をクライアントが行う場合も、営業工数が発生 仮説立案 データ作成 可視化 検証 Data Engineers Data Visualization
Engeneers Clients 分析の進め方 Sales 12
分析の進め方 ボトルネック • エンジニアリングコスト • 営業コスト • チーム内のコミュニケーションコスト • クライアントとの調整コスト
13
クライアントが、データホルダーのように自由に分析できるシステムを作りたい 仮説立案 データ作成 可視化 検証 Data Analyzing System Clients /
Data Scientists 分析の進め方 14
システム化検討 15
システム化検討 「仮説立案」・「検証」以外のコストを無くす • 「データ作成」・「可視化」を、ワンストップアプリケーション化 ◦ プログラミングレスで分析可能 • アプリケーションをクライアントが直接利用可能 ◦ データホルダーのように自由に分析可能
16
システム化検討 機能要件 • インタラクティブ性 ◦ クライアントがGUIから任意に選択した条件でデータ分析を実施 • 大容量データ描画 ◦ 日本全国の道路ネットワークデータを地図上に描画
• 高速集計 ◦ ユーザーが待てる時間内に描画データを集計 17
システム化検討 技術課題 • 地図描画 ◦ インタラクティブ性 ◦ 大容量データ描画 • 高速集計
◦ 処理リードタイム ◦ 安定性 ◦ 運用費 18
System Architecture システム化検討 Client Map Server Data Server 19
技術検討 - 地図描画編 - 20
技術検討 - 地図描画編 - 技術課題 • インタラクティブ性 ◦ クライアントがGUIから任意に選択した条件でデータ分析を実施 •
大容量データ描画 ◦ 日本全国の道路ネットワークデータを地図上に描画 21
技術検討 - 地図描画編 - QGIS • 幅広い位置情報データ形式に対応 ◦ Shape File,
csv, Spatial database etc... • WMS形式での地図配信が可能 ◦ QGIS Web • 社内利用実績有り ◦ 大容量データもある程度表示可能 × インタラクティブな 地図描画形式には未対応 22
技術検討 - 地図描画編 - Raster Tiles • タイル形式 • 画像データ
◦ png, jpeg etc... • ブラウザに表示される • データのみ配信 × 地図上の道路データに対し イベント登録ができない 23
技術検討 - 地図描画編 - GeoJSON • 空間データをJSON形式で記述 • イベント登録可能 ◦
地物(道路や建物データ)をsvgやcanvasの要素として ◦ を扱う事ができる × 大容量データを描画できない { "type": "Feature", "geometry": { "type": "Point", "coordinates": [125.6, 10.1] }, "properties": { "name": "Dinagat Islands" } } 24
技術検討 - 地図描画編 - こんなデータ形式があれば・・・ • Raster Tilesのように、画面上に表示するデータのみ配信 • GeoJSON(+JavaScript)のようにHTMLの要素として地図データを扱える
25
技術検討 - 地図描画編 - あった! 26
技術検討 - 地図描画編 - Vector Tiles GvunAngCCgtsaW5rL W1hc3RlciiAIBoIY2FyX 29ubHkiAiAAGglkZXN0 X25vZGUiAiBCGglkdW
FsX2xpbmsiAiBtGg1sY W5lX251bV9jb2RlIgIgA hoGbGVuZ3RoIgIgSho EbGluayIDIKAdGglsaW 5rX3R5cGUaCmxpbmtf dH 27
技術検討 - 地図描画編 - Vector Tiles • ブラウザに表示されるデータのみ配信 • Javascriptの地図ライブラリ等を用いて地図上に可視化
◦ Leaflet, OpenLayers etc... • イベント登録可能 ◦ SVBやCanvasの要素として地物を扱う事ができる ◎ インタラクティブ性 ◎ 大容量データ描画 28
地図配信形式にVector Tilesを採用 技術検討 - 地図描画編 - インタラクティブ性 大容量データ描画 QGIS ×
△ Raster Tiles × ◦ GeoJSON ◦ × Vector Tiles ◦ ◦ 29
技術検討 - 地図描画編 - Amazon RDS for PostgreSQL • 描画用データの格納
• PostgreSQL上で空間演算できるPostGISを利用 • 将来的にAWS Aurora for PostgreSQLに移行したい ◦ ダウンタイム無しで拡張可能 ◦ 処理性能向上 ◦ 東京リージョンでは未公開 30
System Architecture システム化検討 Client Map Server Vector Tiles Map DB
Server Data Server 31
技術検討 - 高速集計編 - 32
技術検討 - 高速集計編 - 前提 • Javaで書かれた処理とSQLで書かれた処理が存在する ◦ それぞれが動く分散処理環境が必要 •
リクエストを常に待ち受ける必要有り 要求 • リードタイム低 • 運用費安 33
技術検討 - 高速集計編 - Java分散処理フレームワーク 34
技術検討 - 高速集計編 - Hadoop • 言わずと知れた分散処理FW • 社内実績多数 ×
ジョブ毎にI/Oオーバーヘッド が発生 リードタイムが要求に満たない 35
技術検討 - 高速集計編 - Spark • Hadoopに次ぐ分散処理FWの雄 • インメモリ処理のためI/Oオーバーヘッド低減 ◎リードタイム低
△常時インスタンスを起動する 必 要有り 36
• Java分散処理にSparkを採用 技術検討 - 高速集計編 - リードタイム 運用費 Java Hadoop
△ △ Spark ◦ △ 37
技術検討 - 高速集計編 - SQL分散処理フレームワーク 38
技術検討 - 高速集計編 - Hive • hadoopクラスタ上で動作 • HiveQLと呼ばれるSQLライクな言語を使用 •
社内実績多数 × hadoop同様、 リードタイムが要求に満たない 39
技術検討 - 高速集計編 - Presto • Facebook社が開発した高速分散DB • ANSI SQL
標準をサポート • HDFSやAmazon s3上のデータを処理可能 ◦ Hiveと同一データソースを利用できる ◎ リードタイム低 △ インスタンスを常時起動する 必要が有るため、運用費高 40
技術検討 - 高速集計編 - Amazon Athena • Amazon AWS上で利用できる高速分散DB ◦
実行エンジンにPrestoが採用されている • Amazon s3上のデータを処理可能 • クエリ課金 ◦ インスタンスを常時起動する必要が無い ◎ リードタイム低 ◎ 運用費低 41
• SQL分散処理にAmazon Athenaを採用 技術検討 - 高速集計編 - リードタイム 運用費 Java
Hadoop △ △ Spark ◦ △ SQL Hive △ △ Presto ◦ △ Amazon Athena ◦ ◦ 42
システム化検討 System Architecture Client Map Server Vector Tiles Data Server
Map DB Server Data Store 43
道路プロファイラー 44
道路プロファイラー 45
道路プロファイラー 利用データ 46
論文発表 道路プロファイラー [ 発表先 ]第55回土木計画学研究発表会 論文: http://consulting.navitime.biz/pdf/monograph_ 20170610_1.pdf 発表資料: http://consulting.navitime.biz/pdf/presentation
_20170610_1.pdf 47
道路プロファイラー ケーススタディ 48
ご清聴ありがとうございました。 49