Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
“JapanTaxi” アプリを支える データ分析基盤
Search
Shuichiro Aiba
September 19, 2018
Technology
3
1.3k
“JapanTaxi” アプリを支える データ分析基盤
2018/9/19の Google Cloud Next '18 in Tokyo の講演資料です。
Shuichiro Aiba
September 19, 2018
Tweet
Share
Other Decks in Technology
See All in Technology
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
170
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
1
280
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
220
エンジニアのキャリアをちょっと楽しくする3本の軸/Three Pillars to Make an Engineer's Career More Enjoyable
kwappa
0
2.7k
Vertex AI を中心に 生成AIのアップデートを共有します
kaz1437
0
310
プロトタイピングによる不確実性の低減 / Reducing Uncertainty through Prototyping
ohbarye
5
390
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
2.1k
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
2.7k
Google Cloud Next '24でブログを10本書いた方法と勉強会を沸かせた方法
yasumuusan
0
300
リテール金融(キャッシュレス・ネット銀行・ネット証券)の競争環境と経済圏
8maki
0
1.2k
Google Cloud の AI を支える裏側のインフラを垣間見る!
maroon1st
0
360
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
Featured
See All Featured
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Adopting Sorbet at Scale
ufuk
68
8.6k
4 Signs Your Business is Dying
shpigford
175
21k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
659
120k
Large-scale JavaScript Application Architecture
addyosmani
504
110k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
Fireside Chat
paigeccino
21
2.6k
The Mythical Team-Month
searls
216
42k
KATA
mclloyd
15
12k
A designer walks into a library…
pauljervisheath
200
23k
What's new in Ruby 2.0
geeforr
337
31k
Transcript
D1-1-S07 “JapanTaxi” アプリを支える データ分析基盤 饗庭 秀一郎 JapanTaxi 株式会社 データエンジニア 饗庭
秀一郎 2018 年 9 月 19 日
目次 • JapanTaxi と分析チームの紹介 • 社内分析基盤の紹介 • 分析基盤の運用方法 • 今後の
GCP の活用
JapanTaxi
データ分析チームのミッション データ活用に よる サービス開発 意思決定支援 のための データ構築 需要予測による AI 配車、
配車ロジック最適化、 データセンシング、など 分析データの整備と基盤構築、 レポーティング、施策分析、など 本日はこちらメイン
サービスの仕組み サーバサイド 配車システム ドライバー用アプリ JapanTaxi タクシー会社
分析に使うデータ 配車情報 決済情報 車両位置情報 アプリログ 広告 トラッキング ユーザ情報
データ分析基盤の構成 他クラウド サービス 社内メンバ AWS Kinesis AWS S3 DB Bigquery
PubSub Dataflow Strage App Engine Tableau SQL Slack spread sheet 外部サービス DataLab データソース データ転送 データ 保存 / 処理 データ出力/利用
GCP を使っている理由 • データ蓄積と処理の基盤となる BigQuery のメリット享受 パフォーマ ンス 運用 新機能
データ分析基盤の利用 データ分析基盤 セールス マーケティング 開発 ・地域のデータ ・タクシー会社のデータ ・アプリの利用状況 ・ボトルネック調査 ・不具合調査
・広告トラッキング ・ユーザ特性 システム ・外部サービスへの データ連携 経営層 ・KPI 等の重要数値確認 分析 ・依頼ベースの分析 ・データ活用施策の 前処理 / 事前分析
分析イメージ - セールスによる地域分析 あくまでイメージで実際のデータとは異なります
分析イメージ - ドライバー分析 あくまでイメージで実際のデータとは異なります
組織による分析軸の違い セールス • 時系列 • 会社 • 地域 分析 •
時系列 • 地域 • ユーザ • 流入 • 時系列 • 機能 • ユーザ • シナリオ マーケティング 開発
分析基盤に求められること • あらゆる関連データにアクセスできる ◦ いろんな場所に散在するデータの集約と共有 • すばやく見たい軸で自分で分析できる ◦ 組織ごとの観点での分析 ◦
地理的条件での分析 • 利用状況の客観的把握 ◦ データ保存量、テーブルの利用度 / タイミング
データの集約と共有 • 層を分けて社内提供 生データ系 Dataset 汎用分析用 Dataset アプリケー ション用 Dataset
・不要情報削除 ・重複除去 ・非正規化 ・データ間結合 目的に応じた集計 元データ クエリ クエリ 主にこれを公開 全件 or 差分 Tableau Online などシステム 元データ 元データ
組織ごとのセルフ分析のために • Betaの機能も積極的に使って性能・コストを最適化 Partitioned Table (based on TIMESTAMP column) Clustered
Table Ingestion time TIMESTAMP or DATE columns フィルタリングや集 計によく利用される 軸=カラム 利用者が意識しなくとも最適化される
地理的条件での分析 - GIS • 例:タクシー営業区域で集計可(行政区で構成される) 地域メッシュ 行政区域
利用状況の客観的把握 • GCP Census (OSS) でテーブル情報を日次で取得
利用状況の客観的把握 • クエリなどのジョブ情報を API から収集して管理
今後の GCP の活用 - ML 系サービスの活用 • VisionAPI, AutoML ドライブレコーダーの
映像解析による 車両のラベリングなど
一緒に働く仲間を募集しています データ分析 デザイナー セールス マーケティング フロントエンド サーバサイド ハードウェア コーポレート