Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
データアナリストが育てるDWH
yukihide watanabe
July 28, 2021
Technology
1
4.2k
データアナリストが育てるDWH
[オンライン開催] Retty ✕ Mercari Analyst Talk Night! 登壇資料
https://mercari.connpass.com/event/218848/
yukihide watanabe
July 28, 2021
Tweet
Share
Other Decks in Technology
See All in Technology
DNS権威サーバのクラウドサービス向けに行われた攻撃および対策 / DNS Pseudo-Random Subdomain Attack and mitigations
kazeburo
5
1.3k
Oracle Transaction Manager for Microservices Free 22.3 製品概要
oracle4engineer
PRO
5
110
ECテックカンファレンス2023 EC事業部のモバイル開発2023
tatsumi0000
0
300
IoTを始めたきっかけの話と個人でできるIoTの今後 / 新年LT会「私の愛するIoT 2023」
you
0
230
データ分析基盤の要件分析の話(202201_JEDAI)
yabooun
0
260
Kaggleシミュレーションコンペの動向
nagiss
0
270
NGINXENG JP#2 - 4-NGINX-エンジニアリング勉強会
hiropo20
0
120
WebLogic Server for OCI 概要
oracle4engineer
PRO
3
880
Deep dive in Reserved Instance ~脳死推奨量購入からの脱却~
kzkmaeda
0
540
OCI技術資料 : ロード・バランサー 詳細 / Load Balancer 200
ocise
2
7.2k
ユーザーテストガイドライン VERSION 2.0
kouzoukaikaku
0
1.3k
Stripe / Okta Customer Identity Cloud(旧Auth0) の採用に至った理由 〜モリサワの SaaS 戦略〜
tomuro
0
130
Featured
See All Featured
Creatively Recalculating Your Daily Design Routine
revolveconf
207
11k
10 Git Anti Patterns You Should be Aware of
lemiorhan
643
54k
Designing the Hi-DPI Web
ddemaree
273
32k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.2k
How To Stay Up To Date on Web Technology
chriscoyier
779
250k
How to train your dragon (web standard)
notwaldorf
66
4.3k
Making Projects Easy
brettharned
102
4.8k
Rebuilding a faster, lazier Slack
samanthasiow
69
7.5k
Stop Working from a Prison Cell
hatefulcrawdad
263
18k
Learning to Love Humans: Emotional Interface Design
aarron
263
38k
Reflections from 52 weeks, 52 projects
jeffersonlam
338
18k
Transcript
データアナリストが育てるDWH Watanabe Yukihide DWH開発の停滞と再出発 2021.07.28 1
自己紹介 Watanabe Yukihide • 職域:Analytics Engineer • 趣味:ロードバイク,マンガ •
好きなトッピング:九条ネギ 2
データアナリスト主体でDWHを育てるために 乗り越えたアンチパターンの話
目次 1. RettyのDWH開発 2. DWH開発の停滞 3. DWH開発の再出発
4. 最後に 4
RettyのDWH開発
高難易度のデータ出し RettyのDWH開発 Rettyのデータ分析チームは、”意思決定の価値最大化”を目的とするチーム 6 意思決定の価値最大化 データの民主化 ダッシュボード構築 定量根拠の一般化 UXリサーチ DWH開発
科学的根拠のある分析 分析の高度化 意思決定の精度向上 意思決定構造への助言
RettyのDWH開発 データアナリスト主体でDWH開発する理想を掲げている ELT形式のデータフロー。GitとSQLのスキルでDWH開発ができる環境。月一で集中作業の時間を確保 チーム開発のためのデータウェアハウスアーキテクチャ 7
DWH開発の停滞 \ 本題 /
DWH開発の停滞 DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞 データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 9 高難易度のデータ出し 意思決定の最大化 データの民主化 定量根拠の一般化 DWH開発
分析の高度化 意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼されていく
DWH開発の停滞 DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞 データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 10 高難易度のデータ出し 意思決定の最大化 データの民主化 定量根拠の一般化 DWH開発
分析の高度化 意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼され始める データの民主化をしているはずが、 データアナリストのタスクが減らない…🤔
DWH開発の停滞 因果ループを用いた現状分析により、デッドロック状態であることを確認 意思決定が進捗すると観点が多様化。DWHに未実装だとデータ出し依頼がきて、DWH開発の工数を圧迫 11 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
DWH開発の停滞 ①意思決定の進捗のために、一定の速度・品質を提供し続ける 意思決定の進捗が生まれ、チーム・組織のデータ活用が高度になっていくサイクル 12 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける
DWH開発の停滞 ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える 高難易度のデータ出しがデータアナリストから手離れせず、タスクとして少なからず積もっていく 13 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
DWH開発の停滞 ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる 長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 14 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
DWH開発の停滞 ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる 長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 15 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる DWH開発による利益実感が少ないため データアナリストの開発動機も低迷していた
DWH開発の停滞 DWH開発を通してデータアナリスト自身が利益実感できるサイクルを目指す 知識のコード化 (Knowledge as Code)を通じて、採用・育成などの物理リソースに依存しない状態 16 高難易度のデータ出し
観点の多様化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる
DWH開発の再出発
DWH開発の再出発 施策①:工数不足に関する解決策として、スクラム体制を導入した バックログに従うことで工数制御。しかしDWH開発の優先度は低いままで、直接の解決策とはなり得ず 18 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発
意思決定の進捗 ①速度を調整しつつ、一定の品質を提供し続ける ②DWH開発の優先度が上がり難く、多様化の速度には間に合わず
DWH開発の再出発 Looker導入というチャンス 主要ダッシュボード移行を目標に着手。ダッシュボード負債解消、DWH開発のあり方を変えるチャンス 19 (表の声) Lookerにダッシュボード移行しましょう! Exploreを活用して分析の再利用を! 次からバックログ待ちせずに済みますよ!
(裏の声) いまデッドロックを解消しないと終わる … データ出しではなくDWH開発を!
DWH開発の再出発 施策②:データ出し依頼には、クエリ作成だけでなくDWH開発も加える 「データ出し依頼 = クエリ作成」というテンプレート対応からの脱却。対応選択肢の幅を広げていく 20 (表の声) 複雑なクエリ読むの大変ですよね!? Exploreを活用して分析の再利用を!
次からバックログ待ちせずに済みますよ! (裏の声) DWH開発への工数に転換したいです …
DWH開発の再出発 施策③:“Agile Data Modeling” の取り組み ダッシュボード移行に際してデータモデリング意識の醸成。DWHの不足を発見して開発する習慣付け 21
DWH開発の再出発 安心できるダッシュボードへと再構築し、良いサイクルの再出発を果たした チームの余力を見極めて、より生産的なアウトプットを提案し、チーム全体で動機と知識を補い合う 22 高難易度のデータ出し 観点の多様化 ダッシュボード構築 DWH開発 意思決定の進捗
①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる
最後に
最後に 一緒にデータアナリスト+αで、組織の意思決定の価値最大化に貢献しませんか? 下記の項目(もしくはデータマネジメント)に興味がある方、ぜひ懇親会でお声がけください! 24 高難易度のデータ出し 意思決定の価値最大化 データの民主化 ダッシュボード構築 定量根拠の一般化
UXリサーチ DWH開発 科学的根拠のある分析 分析の高度化 意思決定の精度向上 意思決定構造への助言
ご清聴ありがとうございました!