Eurekaの DataPlatform開発状況と再現性の実現

Slide 1

Slide 1 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 1

Slide 2

Slide 2 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 2 Slide Uploaded Ask on Twitter #前向きデータ整備人で探してみてください懇親会にもいるのでそちらでも

Slide 3

Slide 3 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 自己紹介 Takahisa Kurimura - Eureka Inc. - BI (Business intelligence) チーム所属 - Mobile apps/ Matching / SharingEconomy - Football (主にJリーグ) / Motorbike t-kurimura t_kurimura

Slide 4

Slide 4 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 4

Slide 5

Slide 5 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 5

Slide 6

Slide 6 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 6

Slide 7

Slide 7 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 7

Slide 8

Slide 8 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 8

Slide 9

Slide 9 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 9 Eurekaの DataPlatform開発状況と"再現性"の実現第二回　データアーキテクト(データ整備人) を“前向き”に考える会 /2020.02.06

Slide 10

Slide 10 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 10 DataPlatform基盤の全体概要データ基盤の全体構成図

Slide 11

Slide 11 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 11 Third Party tools DataPlatform基盤の全体概要その他Adhocな分析 BigQuery

Slide 12

Slide 12 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 12 Third Party tools DataPlatform基盤の全体概要 Data Platform その他Adhocな分析 BigQuery CloudComposer Airflow

Slide 13

Slide 13 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 13 DataPlatform基盤の全体概要 Apache Airﬂow を基に構築された、フルマネージドのワークフローオーケストレーションサービススケジュール管理・ワークフロー管理に特化したオープンソースソフトウェア

Slide 14

Slide 14 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 14 Third Party tools DataPlatform基盤の全体概要 Data Platform DataLake Data WareHouse DataMart 生ログをほぼそのまま保存しているDB 分析用の下処理を施したDB ビジネス観点で整備したDB その他Adhocな分析

Slide 15

Slide 15 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 15 DataPlatformの変遷 DataPlatformの発足期 Redash/Spreadsheet乱立期 DataPlatform開発繁栄期 - DP開発メンバーの増加 - Tableau上ので公式DSの拡充 - DP定例会の実施 - RedashAPIをGasで利用 - Spreadsheetにデータを連携し可視化 - Tableau導入 - CloudComposer導入 - 基本データの拡充 - View Queryの乱立 DataPlatform管理レポジトリのコード量の推移

Slide 16

Slide 16 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 16 DataPlatformの変遷 DataPlatformの発足期 Redash/Spreadsheet乱立期 DataPlatform開発繁栄期 - DP開発メンバーの増加 - Tableau上ので公式DSの拡充 - DP定例会の実施 - RedashAPIをGasで利用 - Spreadsheetにデータを連携し可視化 - Tableau導入 - CloudComposer導入 - 基本データの拡充 - View Queryの乱立 DataPlatform管理レポジトリのコード量の推移

Slide 17

Slide 17 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 17 DataPlatformにのせる “公式化”のメリット View Table / Scheduled Query Airflowでの管理 - コードレビューによるデータの妥当性の担保 - 依存関係の定義によるデータの信頼性の担保 - データ・分析の再現性を支える ✔

Slide 18

Slide 18 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 18 DataPlatformにおける“再現性”とは - データに対するドメインナレッジの蓄積データの定義における解釈が統一される - 必要なデータが必要なときにすぐに取り出せることどこに何があるかが明確で、すぐにアクセス可能

Slide 19

Slide 19 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 19 DataPlatformの開発状況 Pairs Project A 担当 Pairs Project B 担当 Engage 担当 Tableauによるデータの可視化・意思決定のサポート BigQueryでのデータソースの作成 Airﬂowでのワークフローの作成 CloudComposerの基盤管理 SRE Team Project Owner & member 経営レポート・中長期分析・マーケティング関連 Adhoc分析 Boards, Bland, MarketingTeam

Slide 20

Slide 20 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 20 DataPlatformの開発フロー依頼者 ProductManager ProductOwner Team meber etc. BI Team View TableやScheduled Queryを利用して簡易的に提供目的・背景・見たい指標等の落とし込み

Slide 21

Slide 21 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 21 DataPlatformの開発フロー依頼者 BI Team 当該Dashboardの運用の知見を踏まえて AirﬂowでDWH・DMを実装

Slide 22

Slide 22 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 22 DataPlatformの開発フロー一度、ViewTableなどで簡易的にDataMartを作成し可視化する。その後、成果物の改善点などを踏まえてDWH/DMを実装する。 - 運用が安定したDashboardを元にDWH/DMを実装すれば過不足なく設計できる。 - 突発的な依頼に対応しやすい - 担当者の強い意志依存なので、 ViewQueryの放置、DWH・DMが充実していかない可能性メリットデメリット

Slide 23

Slide 23 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 23 DWH構築のためのログ・メタデータの活用すべてのクエリ発行や操作のログが集積データセット内のテーブルの最終更新などの情報

Slide 24

Slide 24 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 24 DataPlatformでの監査データの活用あらゆるツールを介して実行されているクエリをまとめて確認できる

Slide 25

Slide 25 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 25 DataPlatformでの監査データの活用２つのテーブルがJOINして実行されているクエリを DWH化

Slide 26

Slide 26 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 26 DataPlatformでの監査データの活用 DWH・DMにどういったものが必要・不必要かの判断材料に ● 利用頻度の多いテーブル ● 同時に使われていることが多いテーブル ● 全く利用されてないテーブル監査ログ・Information_schemaを利用することで、

Slide 27

Slide 27 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 27 DataPlatformでの永続UDFの活用特定のDatasetに関数のみを、定義できる

Slide 28

Slide 28 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 28 異なるクエリからでも同じ関数を参照できる DataPlatformでの永続UDFの活用

Slide 29

Slide 29 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 29 永続UDFに関してもコード管理 DataPlatformでの永続UDFの活用

Slide 30

Slide 30 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 30 コード管理によって、定義の統一と知見の集約を高める - 知見の属人化を排除 - クエリの可読性向上 - 類似クエリ作成のスピード向上永続UDFの活用で、 DataPlatformでの永続UDFの活用

Slide 31

Slide 31 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 31 DataPlatformの知見共有 ● 各種ツールのエラーログの確認 ● リファクタリングの方針相談・進捗共有 ● 開発上困ったことの解決 ● 現状の課題の整理 ● 今後のルール・戦略の共通認識週に1回関連するメンバーで30分定例MTGを実施

Slide 32

Slide 32 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 32 まとめ - 過去の分析や整形されたデータの再現性を重要視する Airﬂowでのクエリのコード管理・関数の共通化 (永続UDF) - MVPなDMから可視化し改善点を明確にしたえで、 DM・DWHを設計最初は、Scheduled QueryやView Tableを利用し柔軟にDMを設計 - 巻き込みやすい、巻き込まれやすいような環境 CI等の整備、Github操作のみにするなど開発への障壁下げる。定例会での情報共有

Slide 33

Slide 33 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 33

Slide 34

Slide 34 text

CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 34 Appendix Apache Airflow Cloud Composer Cloud Audit Logging | Stackdriver Logging ドキュメント Introduction to BigQuery INFORMATION_SCHEMA | BigQuery Standard SQL User-Defined Functions | BigQuery BigQueryとAirﬂowを活用したDataPlatform運用の10のケース・スタディ 1年間のDataPlatformプロジェクトから見えてきた「 DataWarehouseの作りかた」