“JapanTaxi” アプリを支える データ分析基盤

2018/9/19の Google Cloud Next '18 in Tokyo の講演資料です。

Transcript

1. D1-1-S07 “JapanTaxi” アプリを支える データ分析基盤 饗庭 秀一郎 JapanTaxi 株式会社 データエンジニア 饗庭 秀一郎 2018 年 9 月 19 日
2. 目次 • JapanTaxi と分析チームの紹介 • 社内分析基盤の紹介 • 分析基盤の運用方法 • 今後の GCP の活用
3. JapanTaxi
4. データ分析チームのミッション データ活用に よる サービス開発 意思決定支援 のための データ構築 需要予測による AI 配車、 配車ロジック最適化、 データセンシング、など 分析データの整備と基盤構築、 レポーティング、施策分析、など 本日はこちらメイン
5. サービスの仕組み サーバサイド 配車システム ドライバー用アプリ JapanTaxi タクシー会社
6. 分析に使うデータ 配車情報 決済情報 車両位置情報 アプリログ 広告 トラッキング ユーザ情報
7. データ分析基盤の構成 他クラウド サービス 社内メンバ AWS Kinesis AWS S3 DB Bigquery PubSub Dataflow Strage App Engine Tableau SQL Slack spread sheet 外部サービス DataLab データソース データ転送 データ 保存 / 処理 データ出力/利用
8. GCP を使っている理由 • データ蓄積と処理の基盤となる BigQuery のメリット享受 パフォーマ ンス 運用 新機能
9. データ分析基盤の利用 データ分析基盤 セールス マーケティング 開発 ・地域のデータ ・タクシー会社のデータ ・アプリの利用状況 ・ボトルネック調査 ・不具合調査 ・広告トラッキング ・ユーザ特性 システム ・外部サービスへの 　データ連携 経営層 ・KPI 等の重要数値確認 分析 ・依頼ベースの分析 ・データ活用施策の 　前処理 / 事前分析
10. 分析イメージ - セールスによる地域分析 あくまでイメージで実際のデータとは異なります
11. 分析イメージ - ドライバー分析 あくまでイメージで実際のデータとは異なります
12. 組織による分析軸の違い セールス • 時系列 • 会社 • 地域 分析 • 時系列 • 地域 • ユーザ • 流入 • 時系列 • 機能 • ユーザ • シナリオ マーケティング 開発
13. 分析基盤に求められること • あらゆる関連データにアクセスできる ◦ いろんな場所に散在するデータの集約と共有 • すばやく見たい軸で自分で分析できる ◦ 組織ごとの観点での分析 ◦ 地理的条件での分析 • 利用状況の客観的把握 ◦ データ保存量、テーブルの利用度 / タイミング
14. データの集約と共有 • 層を分けて社内提供 生データ系 Dataset 汎用分析用 Dataset アプリケー ション用 Dataset ・不要情報削除 ・重複除去 ・非正規化 ・データ間結合 目的に応じた集計 元データ クエリ クエリ 主にこれを公開 全件 or 差分 Tableau Online などシステム 元データ 元データ
15. 組織ごとのセルフ分析のために • Betaの機能も積極的に使って性能・コストを最適化 Partitioned Table (based on TIMESTAMP column) Clustered Table Ingestion time TIMESTAMP or DATE columns フィルタリングや集 計によく利用される 軸＝カラム 利用者が意識しなくとも最適化される
16. 地理的条件での分析 - GIS • 例：タクシー営業区域で集計可(行政区で構成される） 地域メッシュ 行政区域
17. 利用状況の客観的把握 • GCP Census (OSS) でテーブル情報を日次で取得
18. 利用状況の客観的把握 • クエリなどのジョブ情報を API から収集して管理
19. 今後の GCP の活用 - ML 系サービスの活用 • VisionAPI, AutoML ドライブレコーダーの 映像解析による 車両のラベリングなど
20. 一緒に働く仲間を募集しています データ分析 デザイナー セールス マーケティング フロントエンド サーバサイド ハードウェア コーポレート