Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Looker や Dataform など、Modern Data Stackを用いてデータ活用...
Search
Recruit
PRO
November 01, 2022
Technology
2
3k
Looker や Dataform など、Modern Data Stackを用いてデータ活用の負を改善する(していく)話 / techplay221101_04_hayashida
2022/11/01_リクルートが考える『意思決定に効くデータマネジメント』~アナリティクスエンジニア組織の立ち上げと事例紹介~での、林田の講演資料になります
Recruit
PRO
November 01, 2022
Tweet
Share
More Decks by Recruit
See All by Recruit
Browser
recruitengineers
PRO
9
2.7k
JavaScript 研修
recruitengineers
PRO
8
1.7k
TypeScript入門
recruitengineers
PRO
36
12k
モダンフロントエンド 開発研修
recruitengineers
PRO
11
6.8k
Webアクセシビリティ入門
recruitengineers
PRO
4
1.8k
攻撃と防御で実践するプロダクトセキュリティ演習~導入パート~
recruitengineers
PRO
4
2.1k
モバイルアプリ研修
recruitengineers
PRO
6
1.9k
事業価値と Engineering
recruitengineers
PRO
10
6k
制約理論(ToC)入門
recruitengineers
PRO
10
4.2k
Other Decks in Technology
See All in Technology
RSCの時代にReactとフレームワークの境界を探る
uhyo
10
3.4k
共有と分離 - Compose Multiplatform "本番導入" の設計指針
error96num
1
370
「Linux」という言葉が指すもの
sat
PRO
4
120
未経験者・初心者に贈る!40分でわかるAndroidアプリ開発の今と大事なポイント
operando
5
370
Django's GeneratedField by example - DjangoCon US 2025
pauloxnet
0
140
AI開発ツールCreateがAnythingになったよ
tendasato
0
120
2025年夏 コーディングエージェントを統べる者
nwiizo
0
140
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
450
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
320
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
390
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
0
310
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
150
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Navigating Team Friction
lara
189
15k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
112
20k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Bash Introduction
62gerente
615
210k
Building Applications with DynamoDB
mza
96
6.6k
Building an army of robots
kneath
306
46k
Optimizing for Happiness
mojombo
379
70k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
Gamification - CAS2011
davidbonilla
81
5.4k
Transcript
© Recruit Co., Ltd. All Rights Reserved Looker や Dataform
など、Modern Data Stack を用いてデータ活用の負を改善する(していく)話 1 株式会社リクルート データ推進室 まなびD3Mグループ 林田 祐輝 2022/11/01
© Recruit Co., Ltd. All Rights Reserved #recruitdata 2 林田 祐輝
2017年にリクルートマーケティングパートナーズ入社。 「スタディサプリ」にて、データ分析、モニタリング構築、 データマネジメント業務を経験。 現在はデータサイエンスGとD3MGのマネージャーを兼 任。 趣味はゴルフ。 スコアデータを可視化するツールを開発中。 (BigQuery/dbt/Cloud Run/cube.dev)
© Recruit Co., Ltd. All Rights Reserved #recruitdata 自分らしく学び、生きられる世の中を。
スタディサプリは、 学ぶ人、学びを支える人に寄り添い、 自己実現の最大化をサポートしていくサプリメントです。 詳しくはスタディサプリのブランドサイトを御覧ください。 https://brand.studysapuri.jp/ サービス紹介 3
© Recruit Co., Ltd. All Rights Reserved #recruitdata 本日のお話について •
まなび領域のデータ組織が活用しているデータスタックについ て、その活用事例をご紹介します。 • 講演資料はTwitter の #recruitdata にてURLを共有してい ます。 時間の関係で詳細までお話できない部分もありますので、お手元 でご覧頂けると幸いです。 4
© Recruit Co., Ltd. All Rights Reserved 1. まなび領域のデータ組織について 2.
事例紹介 2.1. Dataform 2.2. Data Catalog 2.3. Looker / Tableau 3. まとめ 5 アジェンダ
© Recruit Co., Ltd. All Rights Reserved #recruitdata まなび領域のデータ組織について 6
© Recruit Co., Ltd. All Rights Reserved #recruitdata まなびD3Mグループのビジョン データ活用ユーザーに、
意思決定に必要なデータ分析環境を サービスとして提供する。 7
© Recruit Co., Ltd. All Rights Reserved #recruitdata 提供価値を上げる •
当たり前品質を上げる。 ◦ データを使うとき、それが定義通りに正しいこと。 ◦ 使いたいときに使えること。 ◦ データの内容が理解できること。 生産性を上げる • 当たり前品質を担保しつつ、ステークホルダーからのデータ活用要望に応えていく。 • そのために生産性を上げる取り組みを行う。 まなびD3Mグループのポリシー 8
© Recruit Co., Ltd. All Rights Reserved #recruitdata データ環境 9
引用) スタディサプリのデータ基盤の進歩と調和 https://speakerdeck.com/recruitengineers/meetup-toita?slide=26
© Recruit Co., Ltd. All Rights Reserved #recruitdata まなび領域のデータスタック 10
BigQuery Dataform Looker Tableau Data Catalog Orchestration Transformation Storage Governance BI Analytics Exploratroy Colaboratory Airflow ※一部チームのみ利用
© Recruit Co., Ltd. All Rights Reserved #recruitdata まなび領域のデータスタック 11
BigQuery Dataform Looker Tableau Data Catalog Orchestration Transformation Storage Governance BI Analytics Exploratroy Colaboratory Airflow ※一部チームのみ利用
© Recruit Co., Ltd. All Rights Reserved #recruitdata 事例① Dataform
12
© Recruit Co., Ltd. All Rights Reserved #recruitdata 背景 •
保守業務の難しさ ◦ スケジュールクエリ、バッチクエリ、アドホッククエリなどのSQLが散在していた。 ◦ テーブル間の依存関係が追えないため、ロジック変更の補足が困難だった。 • 継続的な改善 ◦ 上記保守業務の難しさから、新規開発のスピード低下が懸念された。 ◦ 新規参入者向けのナレッジシェアが難しい。 Dataform 導入の背景 13
© Recruit Co., Ltd. All Rights Reserved #recruitdata Dataform 導入で得られたこと
14 Dataform • Dataformのディレクトリと BQのdataset / table 構 造を統一した。 • dev 環境を用意し、prodと devの分離した。 • デフォルトをdevにし、CI/CD で環境変数を渡す。 実装 • テーブル内容、及びカラムレベ ルでの概要を記述した。 • データリネージ機能で依存関 係を調査できるようにした。 ガバナンス • Assertionクエリによるテー ブルのヘルスチェックが可能に なった。 品質
© Recruit Co., Ltd. All Rights Reserved #recruitdata Dataform をより活用するための課題
15 Dataform • 既存クエリの書き換えに注力 したため、ガバナンス、品質向 上はこれから。 実装 • sqlxファイルにドキュメントを 書き込むので、ファイルが冗長 になる。 • 抽象度が高い内容や細かい定 義まで書けていない。 ガバナンス • Assertionクエリの充足率が 低い。 品質
© Recruit Co., Ltd. All Rights Reserved #recruitdata 事例② Data
Catalog 16
© Recruit Co., Ltd. All Rights Reserved #recruitdata 背景 •
管理しているデータ資産(データマート)の把握 ◦ 属人的なデータマート開発が進んでおり、特定ロジックはチーム内で共通認識として シェアされていない。 • 新規参入者へのオンボーディング ◦ ドメイン知識とテーブル知識の装着が狙い。 ◦ ソースコードを見るよりも理解しやすい形にしたい。 Data Catalog 導入の背景 17
© Recruit Co., Ltd. All Rights Reserved #recruitdata 2種類のメタデータ 18
引用) スタディサプリでのBigQuery移管と実践的活用術 https://speakerdeck.com/recruitengineers/meetup-kittaka?slide=29
© Recruit Co., Ltd. All Rights Reserved #recruitdata Data Catalogをより活用するための課題
19 ツール連携 品質情報 Data Catalog Dataform SQLでの データマート 開発 開発とは 別のプロセスで 登録する 連携できない Data Catalog 各テーブルの Assertion 情報 (要件、結果など)
© Recruit Co., Ltd. All Rights Reserved #recruitdata 事例③ Looker
× Tableau 20
© Recruit Co., Ltd. All Rights Reserved #recruitdata 背景 LookerとTableauをそれぞれステークホルダーに合わせて使い分けている。
• 営業チーム:Tableau ◦ クライアント先へのレポーティングもあり、デザイン要件があった。 • プロダクト開発チーム:Looker ◦ ビジネスドメインを複数持っているため、一元管理した開発が行いやすい。 課題 • どちらも同じプロダクトに関わっているため、見ている指標が同じケースが多かった。 • 独立して実装が行われており、指標管理などのガバナンスが効いていない。 Looker と Tableau 、複数BIを併用している状況 21
© Recruit Co., Ltd. All Rights Reserved #recruitdata 【初期】営業とプロダクトで独立したデータマートを開発 22
営業 プロダクト DWH データマート データマート Raw BigQuery
© Recruit Co., Ltd. All Rights Reserved #recruitdata 【現在】指標の共通化に向けてマートのリファクタリングを進行 23
営業 プロダクト DWH 共通 データ マート Raw BigQuery
© Recruit Co., Ltd. All Rights Reserved #recruitdata 【将来】Lookerを使ってメトリクスの一元管理 24
営業 プロダクト DWH 共通 データ マート Raw BigQuery LookML LookML Looker
© Recruit Co., Ltd. All Rights Reserved #recruitdata まとめ 25
© Recruit Co., Ltd. All Rights Reserved #recruitdata まとめ 26
BigQuery Looker Tableau Data Catalog Orchestration Storage Governance BI Analytics Exploratroy Colaboratory Airflow Dataform Processing ※一部チームのみ利用
© Recruit Co., Ltd. All Rights Reserved #recruitdata Lookerをメトリックレ イヤーと認識し、後続の
BIへのハブとなるアー キテクチャを設計する。 27 Datafrom Data Catalog Looker×Tableau 取り組み・効果 次の課題 抽象度の高いドキュメ ントやAssertionのカ バー率を上げる。 ドキュメント生成、 GitHub連携、 Assertion実装など、 開発プロセスの管理や 品質担保の効率化がで きるようになった。 2種類のメタデータを 使い分けることで、 テーブル管理やテーブ ルナレッジなど現場の 作業効率に繋がった。 Transformツールと の連携、 品質チェック内容もメタ データ化。 Tableauに接続するこ とで、よりメトリクス管 理を進める。 まとめ
© Recruit Co., Ltd. All Rights Reserved #recruitdata まとめ 28
• Transformationツールによって、生産性を大きく上げる。 • データガバナンスを強化することで、当たり前品質を維持する。 • 各データスタック間の連携を積極的に行っていきたい。
© Recruit Co., Ltd. All Rights Reserved #recruitdata これらの課題に一緒に取り組んで頂ける アナリティクスエンジニア
を募集しています!!! (まずはカジュアルな意見交換からでも) 29 最後に... 講演資料などのハッシュタグ #recruitdata イベント終了後にアンケートのご案内もあ りますので、是非ご回答をお願いします!