Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
位置情報ビッグデータ分析の舞台裏
Search
NAVITIME JAPAN
PRO
October 04, 2017
Research
56
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
位置情報ビッグデータ分析の舞台裏
Minami Aoyama Night#4での発表資料です。
NAVITIME JAPAN
PRO
October 04, 2017
Transcript
27 slides
位置情報ビッグデータ分析の 舞台裏 望月 優 2017/09/15 Minami Aoyama Night #4
Speaker 望月 優 (もちづき ゆう) • 株式会社ナビタイムジャパン ◦ 2014 年入社
◦ 交通コンサルティング事業 開発リーダー ◦ データ分析業務, データ分析基盤構築業務など
Our Work
Our Company
Our Business
Our Business 交通・地域の最適化によって, 安心して移動できる社会を目指す.
Our Data Resources
Our Data Analysis 分析事例: 交差点通過にかかる所要時間 第 34 回交通工学研究発表会 論文: http://consulting.navitime.biz/pdf/m
onograph_20140807.pdf 発表資料: http://consulting.navitime.biz/pdf/p resentation_20140807.pdf
Our Data Analysis 分析事例: 目的地アソシエーション分析 第 12 回観光情報学会全国大会 論文: http://consulting.navitime.biz/pdf/mon
ograph_20161105_1.pdf 発表資料: http://consulting.navitime.biz/pdf/pres entation_20161105_1.pdf
Our Data Analysis 分析事例: 訪日外国人の滞在先分析 第 12 回観光情報学会全国大会 論文: http://consulting.navitime.biz/pdf/mon
ograph_20150619_01.pdf 発表資料: http://consulting.navitime.biz/pdf/pres entation_20150619_01.pdf
Infrastructure for Analysis
Analysis Flow • SQL-Based Analysis Log Collection Preprocessing Analysis Environment
Software Infrastructure
Spatial Operations • GIS (Geographic Informaton Systems) ◦ 地理情報システム. 地理情報をうまいこと取り扱う枠組みを指す
. ▪ 作成する, 保存する, 描画する, 演算する, etc. ◦ しばしば利用されるベクタ表現方法 ▪ 位置は緯度・経度を座標として表現される . ▪ 地域の形状はポリゴンとして提供される . • たとえば: http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-N03-v2_3.html ◦ 参考) http://www.gsi.go.jp/GIS/whatisgis.html
Spatial Operations • PostGIS, or other GEOS Bindings ◦ Shapely,
for Python
Visualization • QGIS, for Reporting
Visualization • QGIS Web Client, for Interactive Reporting
Visualization • Original Web Systems, in the NEAR FUTURE
Development
位置データの意味付け • 位置の意味付け ◦ 住所 / 地域メッシュ ◦ どの施設 /
どの道路 • 移動の意味付け ◦ 移動しようとした / 移動しようとしたが結局しなかった / 実際に移動した ◦ 通過した / しばらく滞在した / 住み着いた ◦ 順調に通過した / 通過に苦労した ◦ どこから来た / どこへ行った
技術的困難 • 空間演算は高コスト ◦ ポリゴンの辺が増えるほど , なにかと遅くなる. ◦ 特にビッグデータなので結構シビア .
• 時系列を追う処理の実装が高コスト ◦ ある 1 点だけでなく, 前後の点列も含めて考える必要がある . ◦ SQL だけで実現するのは到底無理 . ◦ SQL だけで書けないと営業メンバが困る .
空間演算の高速化 • Simplifying Polygons ◦ ポリゴンを簡略化して頂点を減らす . ◦ GEOS でアルゴリズム提供
. PostGIS では ST_Simplify 系関数で実現可. ◦ 実装を変更せずに簡単に実現できる . 地図出典: 国土数値情報 http://nlftp.mlit.go.jp/ksj/
空間演算の高速化 • Spatial Indexing ◦ 簡単な計算で, 確実にマッチしないポリゴンを省く . ◦ Bounding
Box を利用した R-tree が有名. ▪ ネイティブライブラリがあります . ▪ Python Binding もあります. 引用: https://ja.wikipedia.org/wiki/R%E6%9C%A8
空間演算の高速化 • Geohashing ◦ 緯度経度から簡単に計算できるハッシュ値 に変換する. ▪ GeoHash, 地域メッシュコードなど .
◦ Polygon 簡略化の一種であり , Spatial Indexing ともいえる. ◦ ポリゴン計算が一切省かれるので , 高速か つ実装が容易. 地図出典: 国土数値情報 http://nlftp.mlit.go.jp/ksj/
時系列データ処理のスケールアウト • MapReduce でストリーム処理させる. ◦ Reduction において, キーでまとめて時間でソートする . ▪
ソートは勝手に行われないので忘れずに . ▪ ただし対象はビッグデータなので , メモリを使いすぎないよう気をつける . ◦ 特定のキーでまとめるところは共通化できるので , フレームワーク化しておく .
システム化 • 難しいことは SQL ではなく事前計算で Log Collection Preprocessing Analysis Environment
Software Infrastructure 可能な限り事前計算で吸収する
データ商材の育成ポイント SQL でできることを増やせば, プロトタイピングの速度が上がる Log Collection Preprocessing Analysis Environment Software
Infrastructure つまりここが大事!
Thank You!
More Decks by NAVITIME JAPAN
See All by NAVITIME JAPAN
株式会社ナビタイムジャパン 会社紹介資料2026
navitimejapan
PRO
1
7.3k
つよつよリーダーが 抜けたらどうする? 〜ナビタイムのAgile⽀援組織の変遷〜
navitimejapan
PRO
23
16k
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
3
1.2k
安全で使いやすいCarPlayアプリの 魅せ方:HIGと実例から学ぶ
navitimejapan
PRO
1
330
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
navitimejapan
PRO
6
3.5k
ユーザーのためなら 『デザイン』 以外にも手を伸ばせる
navitimejapan
PRO
2
2k
フツーのIT女子が、 Engineering Managerになるまで
navitimejapan
PRO
3
540
不確実性に打ち勝つOKR戦略/How to manage uncertainty with OKR strategy
navitimejapan
PRO
4
4.2k
アジャイルを小さいままで 組織に広める 二周目 / Agile Transformation in NAVITIME JAPAN iteration 2
navitimejapan
PRO
4
1.6k
Other Decks in Research
See All in Research
A new deal for disabled people
resolutionfoundation
0
390
[Research Paper Analysis] SigLIP2
auranightsky
0
160
OWASP AISVS - C7
shiell
2
870
AI創薬の壁
kanojikajino
1
1.3k
[WebDB2026]セレンディピティ指向推薦システム再考 ―セレンディピティの原義・類型・発生過程に基づく設計指針―
recsyslab
PRO
0
230
TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis
satai
3
130
幾何学的深層学習入門 ~3次元構造と対称性を学習するニューラルネットワーク~
taniai
3
1.1k
[CV勉強会@関東 CVPR2026] PSDesigner: Automated Graphic Design with a Human-Like Creative Workflow / kantocv 67th CVPR 2026
shunk031
0
410
HackSick vol.7 LT資料【LLMアーキテクチャ入門・事前学習時の躓き所解説】 スパースなAttention・状態空間モデル
rikkabotan7
0
240
横浜市長(山中氏)の言動にかかる第三者による調査報告書
sishi2026
0
680
進化?迷走?CasualConc ファミリーアプリの現在地 @ 英語コーパス学会 2026
casualconc
0
160
The Conductor Pattern -Multi-Granularity Feedback for Creative Agents-
shibuiwilliam
2
120
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
274
21k
How Fast Is Fast Enough? [PerfNow 2025]
tammyeverts
3
980
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
33
5.8k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
3
1.4k
The Mindset for Success: Future Career Progression
greggifford
PRO
0
560
The SEO identity crisis: Don't let AI make you average
varn
0
630
The Spectacular Lies of Maps
axbom
PRO
1
1.1k
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
350
Un-Boring Meetings
codingconduct
0
500
A Modern Web Designer's Workflow
chriscoyier
699
190k
GitHub's CSS Performance
jonrohan
1033
470k
How to optimise 3,500 product descriptions for ecommerce in one day using ChatGPT
katarinadahlin
PRO
3
3.9k