Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
位置情報ビッグデータ分析の舞台裏
Search
NAVITIME JAPAN
PRO
October 04, 2017
Research
0
27
位置情報ビッグデータ分析の舞台裏
Minami Aoyama Night#4での発表資料です。
NAVITIME JAPAN
PRO
October 04, 2017
Tweet
Share
More Decks by NAVITIME JAPAN
See All by NAVITIME JAPAN
つよつよリーダーが 抜けたらどうする? 〜ナビタイムのAgile⽀援組織の変遷〜
navitimejapan
PRO
22
15k
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
3
420
安全で使いやすいCarPlayアプリの 魅せ方:HIGと実例から学ぶ
navitimejapan
PRO
1
160
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
navitimejapan
PRO
6
2.5k
ユーザーのためなら 『デザイン』 以外にも手を伸ばせる
navitimejapan
PRO
2
1.3k
フツーのIT女子が、 Engineering Managerになるまで
navitimejapan
PRO
3
260
不確実性に打ち勝つOKR戦略/How to manage uncertainty with OKR strategy
navitimejapan
PRO
4
3.3k
アジャイルを小さいままで 組織に広める 二周目 / Agile Transformation in NAVITIME JAPAN iteration 2
navitimejapan
PRO
4
1.3k
変更障害率0%よりも「継続的な学習と実験」を価値とする 〜障害を「起こってはならないもの」としていた組織がDirtの実施に至るまで〜 / DevOps Transformation in NAVITIME JAPAN
navitimejapan
PRO
7
5.3k
Other Decks in Research
See All in Research
KDD論文読み会2024: False Positive in A/B Tests
ryotoitoi
0
290
CUNY DHI_Lightning Talks_2024
digitalfellow
0
420
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
120
[輪講] Transformer Layers as Painters
nk35jk
4
640
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
300
知識強化言語モデルLUKE @ LUKEミートアップ
ikuyamada
0
180
Kim Townend Studio X Viral Moment BookTok Webinar
kimlovesstuff
PRO
0
100
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
390
Practical The One Person Framework
asonas
1
2.1k
アプリケーションから知るモデルマージ
maguro27
0
250
複数データセットを用いた動作認識
yuyay
0
100
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
240
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
KATA
mclloyd
29
14k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
114
50k
How to train your dragon (web standard)
notwaldorf
90
5.8k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
Why Our Code Smells
bkeepers
PRO
335
57k
Documentation Writing (for coders)
carmenintech
67
4.6k
Speed Design
sergeychernyshev
25
780
Automating Front-end Workflow
addyosmani
1367
200k
Practical Orchestrator
shlominoach
186
10k
Transcript
位置情報ビッグデータ分析の 舞台裏 望月 優 2017/09/15 Minami Aoyama Night #4
Speaker 望月 優 (もちづき ゆう) • 株式会社ナビタイムジャパン ◦ 2014 年入社
◦ 交通コンサルティング事業 開発リーダー ◦ データ分析業務, データ分析基盤構築業務など
Our Work
Our Company
Our Business
Our Business 交通・地域の最適化によって, 安心して移動できる社会を目指す.
Our Data Resources
Our Data Analysis 分析事例: 交差点通過にかかる所要時間 第 34 回交通工学研究発表会 論文: http://consulting.navitime.biz/pdf/m
onograph_20140807.pdf 発表資料: http://consulting.navitime.biz/pdf/p resentation_20140807.pdf
Our Data Analysis 分析事例: 目的地アソシエーション分析 第 12 回観光情報学会全国大会 論文: http://consulting.navitime.biz/pdf/mon
ograph_20161105_1.pdf 発表資料: http://consulting.navitime.biz/pdf/pres entation_20161105_1.pdf
Our Data Analysis 分析事例: 訪日外国人の滞在先分析 第 12 回観光情報学会全国大会 論文: http://consulting.navitime.biz/pdf/mon
ograph_20150619_01.pdf 発表資料: http://consulting.navitime.biz/pdf/pres entation_20150619_01.pdf
Infrastructure for Analysis
Analysis Flow • SQL-Based Analysis Log Collection Preprocessing Analysis Environment
Software Infrastructure
Spatial Operations • GIS (Geographic Informaton Systems) ◦ 地理情報システム. 地理情報をうまいこと取り扱う枠組みを指す
. ▪ 作成する, 保存する, 描画する, 演算する, etc. ◦ しばしば利用されるベクタ表現方法 ▪ 位置は緯度・経度を座標として表現される . ▪ 地域の形状はポリゴンとして提供される . • たとえば: http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03-v2_3.html ◦ 参考) http://www.gsi.go.jp/GIS/whatisgis.html
Spatial Operations • PostGIS, or other GEOS Bindings ◦ Shapely,
for Python
Visualization • QGIS, for Reporting
Visualization • QGIS Web Client, for Interactive Reporting
Visualization • Original Web Systems, in the NEAR FUTURE
Development
位置データの意味付け • 位置の意味付け ◦ 住所 / 地域メッシュ ◦ どの施設 /
どの道路 • 移動の意味付け ◦ 移動しようとした / 移動しようとしたが結局しなかった / 実際に移動した ◦ 通過した / しばらく滞在した / 住み着いた ◦ 順調に通過した / 通過に苦労した ◦ どこから来た / どこへ行った
技術的困難 • 空間演算は高コスト ◦ ポリゴンの辺が増えるほど , なにかと遅くなる. ◦ 特にビッグデータなので結構シビア .
• 時系列を追う処理の実装が高コスト ◦ ある 1 点だけでなく, 前後の点列も含めて考える必要がある . ◦ SQL だけで実現するのは到底無理 . ◦ SQL だけで書けないと営業メンバが困る .
空間演算の高速化 • Simplifying Polygons ◦ ポリゴンを簡略化して頂点を減らす . ◦ GEOS でアルゴリズム提供
. PostGIS では ST_Simplify 系関数で実現可. ◦ 実装を変更せずに簡単に実現できる . 地図出典: 国土数値情報 http://nlftp.mlit.go.jp/ksj/
空間演算の高速化 • Spatial Indexing ◦ 簡単な計算で, 確実にマッチしないポリゴンを省く . ◦ Bounding
Box を利用した R-tree が有名. ▪ ネイティブライブラリがあります . ▪ Python Binding もあります. 引用: https://ja.wikipedia.org/wiki/R%E6%9C%A8
空間演算の高速化 • Geohashing ◦ 緯度経度から簡単に計算できるハッシュ値 に変換する. ▪ GeoHash, 地域メッシュコードなど .
◦ Polygon 簡略化の一種であり , Spatial Indexing ともいえる. ◦ ポリゴン計算が一切省かれるので , 高速か つ実装が容易. 地図出典: 国土数値情報 http://nlftp.mlit.go.jp/ksj/
時系列データ処理のスケールアウト • MapReduce でストリーム処理させる. ◦ Reduction において, キーでまとめて時間でソートする . ▪
ソートは勝手に行われないので忘れずに . ▪ ただし対象はビッグデータなので , メモリを使いすぎないよう気をつける . ◦ 特定のキーでまとめるところは共通化できるので , フレームワーク化しておく .
システム化 • 難しいことは SQL ではなく事前計算で Log Collection Preprocessing Analysis Environment
Software Infrastructure 可能な限り事前計算で吸収する
データ商材の育成ポイント SQL でできることを増やせば, プロトタイピングの速度が上がる Log Collection Preprocessing Analysis Environment Software
Infrastructure つまりここが大事!
Thank You!