Looker や Dataform など、Modern Data Stackを用いてデータ活用の負を改善する（していく）話 / techplay221101_04_hayashida

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata 2 林田　祐輝    2017年にリクルートマーケティングパートナーズ入社。　   「スタディサプリ」にて、データ分析、モニタリング構築、データマネジメント業務を経験。   現在はデータサイエンスGとD3MGのマネージャーを兼任。    趣味はゴルフ。  スコアデータを可視化するツールを開発中。   （BigQuery/dbt/Cloud Run/cube.dev）  

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata 提供価値を上げる ● 当たり前品質を上げる。 ○ データを使うとき、それが定義通りに正しいこと。 ○ 使いたいときに使えること。 ○ データの内容が理解できること。生産性を上げる ● 当たり前品質を担保しつつ、ステークホルダーからのデータ活用要望に応えていく。 ● そのために生産性を上げる取り組みを行う。まなびD3Mグループのポリシー 8

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata まなび領域のデータスタック 10 BigQuery Dataform Looker Tableau Data Catalog Orchestration Transformation Storage Governance BI Analytics Exploratroy Colaboratory Airﬂow ※一部チームのみ利用

Slide 11

Slide 11 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata まなび領域のデータスタック 11 BigQuery Dataform Looker Tableau Data Catalog Orchestration Transformation Storage Governance BI Analytics Exploratroy Colaboratory Airﬂow ※一部チームのみ利用

Slide 12

Slide 12 text

Slide 13

Slide 13 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata 背景 ● 保守業務の難しさ ○ スケジュールクエリ、バッチクエリ、アドホッククエリなどのSQLが散在していた。 ○ テーブル間の依存関係が追えないため、ロジック変更の補足が困難だった。 ● 継続的な改善 ○ 上記保守業務の難しさから、新規開発のスピード低下が懸念された。 ○ 新規参入者向けのナレッジシェアが難しい。 Dataform 導入の背景 13

Slide 14

Slide 14 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata Dataform 導入で得られたこと 14 Dataform ● Dataformのディレクトリと BQのdataset / table 構造を統一した。 ● dev 環境を用意し、prodと devの分離した。 ● デフォルトをdevにし、CI/CD で環境変数を渡す。実装 ● テーブル内容、及びカラムレベルでの概要を記述した。 ● データリネージ機能で依存関係を調査できるようにした。ガバナンス ● Assertionクエリによるテーブルのヘルスチェックが可能になった。品質

Slide 15

Slide 15 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata Dataform をより活用するための課題 15 Dataform ● 既存クエリの書き換えに注力したため、ガバナンス、品質向上はこれから。実装 ● sqlxファイルにドキュメントを書き込むので、ファイルが冗長になる。 ● 抽象度が高い内容や細かい定義まで書けていない。ガバナンス ● Assertionクエリの充足率が低い。品質

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata 背景 ● 管理しているデータ資産（データマート）の把握 ○ 属人的なデータマート開発が進んでおり、特定ロジックはチーム内で共通認識としてシェアされていない。 ● 新規参入者へのオンボーディング ○ ドメイン知識とテーブル知識の装着が狙い。 ○ ソースコードを見るよりも理解しやすい形にしたい。 Data Catalog 導入の背景 17

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata 背景 LookerとTableauをそれぞれステークホルダーに合わせて使い分けている。 ● 営業チーム：Tableau ○ クライアント先へのレポーティングもあり、デザイン要件があった。 ● プロダクト開発チーム：Looker ○ ビジネスドメインを複数持っているため、一元管理した開発が行いやすい。課題 ● どちらも同じプロダクトに関わっているため、見ている指標が同じケースが多かった。 ● 独立して実装が行われており、指標管理などのガバナンスが効いていない。 Looker と Tableau 、複数BIを併用している状況 21

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata まとめ 26 BigQuery Looker Tableau Data Catalog Orchestration Storage Governance BI Analytics Exploratroy Colaboratory Airﬂow Dataform Processing ※一部チームのみ利用

Slide 27

Slide 27 text

© Recruit Co., Ltd. All Rights Reserved #recruitdata Lookerをメトリックレイヤーと認識し、後続の BIへのハブとなるアーキテクチャを設計する。 27 Datafrom Data Catalog Looker×Tableau 取り組み・効果次の課題抽象度の高いドキュメントやAssertionのカバー率を上げる。ドキュメント生成、 GitHub連携、 Assertion実装など、開発プロセスの管理や品質担保の効率化ができるようになった。 2種類のメタデータを使い分けることで、テーブル管理やテーブルナレッジなど現場の作業効率に繋がった。 Transformツールとの連携、品質チェック内容もメタデータ化。 Tableauに接続することで、よりメトリクス管理を進める。まとめ

Slide 28

Slide 28 text

Slide 29

Slide 29 text