データアナリストが育てるDWH

[オンライン開催] Retty ✕ Mercari Analyst Talk Night!　登壇資料
https://mercari.connpass.com/event/218848/

Transcript

1. データアナリストが育てるDWH
 Watanabe Yukihide
 DWH開発の停滞と再出発 
 2021.07.28
 1
2. 自己紹介
 Watanabe Yukihide
 
 • 職域：Analytics Engineer
 • 趣味：ロードバイク，マンガ
 • 好きなトッピング：九条ネギ
 2
3. データアナリスト主体でDWHを育てるために
 乗り越えたアンチパターンの話

4. 目次
 1. RettyのDWH開発
 
 2. DWH開発の停滞
 
 3. DWH開発の再出発
 
 4. 最後に
 4
5. RettyのDWH開発

6. 高難易度のデータ出し RettyのDWH開発
 Rettyのデータ分析チームは、”意思決定の価値最大化”を目的とするチーム
 6 意思決定の価値最大化 データの民主化 ダッシュボード構築 定量根拠の一般化 UXリサーチ DWH開発 科学的根拠のある分析 分析の高度化 意思決定の精度向上 意思決定構造への助言
7. RettyのDWH開発
 データアナリスト主体でDWH開発する理想を掲げている
 ELT形式のデータフロー。GitとSQLのスキルでDWH開発ができる環境。月一で集中作業の時間を確保 
 チーム開発のためのデータウェアハウスアーキテクチャ 7
8. DWH開発の停滞
 ＼ 本題 ／
9. DWH開発の停滞
 DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞
 データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 
 9 高難易度のデータ出し 意思決定の最大化 データの民主化 定量根拠の一般化 DWH開発 分析の高度化 意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼されていく
10. DWH開発の停滞
 DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞
 データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 
 10 高難易度のデータ出し 意思決定の最大化 データの民主化 定量根拠の一般化 DWH開発 分析の高度化 意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼され始める データの民主化をしているはずが、 データアナリストのタスクが減らない…🤔
11. DWH開発の停滞
 因果ループを用いた現状分析により、デッドロック状態であることを確認
 意思決定が進捗すると観点が多様化。DWHに未実装だとデータ出し依頼がきて、DWH開発の工数を圧迫 
 11 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗
12. DWH開発の停滞
 ①意思決定の進捗のために、一定の速度・品質を提供し続ける
 意思決定の進捗が生まれ、チーム・組織のデータ活用が高度になっていくサイクル 
 12 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける
13. DWH開発の停滞
 ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
 高難易度のデータ出しがデータアナリストから手離れせず、タスクとして少なからず積もっていく 
 13 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
14. DWH開発の停滞
 ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる
 長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 
 14 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
15. DWH開発の停滞
 ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる
 長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 
 15 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる DWH開発による利益実感が少ないため データアナリストの開発動機も低迷していた
16. DWH開発の停滞
 DWH開発を通してデータアナリスト自身が利益実感できるサイクルを目指す
 
 知識のコード化 (Knowledge as Code)を通じて、採用・育成などの物理リソースに依存しない状態 
 16 高難易度のデータ出し 観点の多様化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる
17. DWH開発の再出発

18. DWH開発の再出発
 施策①：工数不足に関する解決策として、スクラム体制を導入した
 
 バックログに従うことで工数制御。しかしDWH開発の優先度は低いままで、直接の解決策とはなり得ず 
 18 高難易度のデータ出し 観点の複雑化 ダッシュボード構築 DWH開発 意思決定の進捗 ①速度を調整しつつ、一定の品質を提供し続ける ②DWH開発の優先度が上がり難く、多様化の速度には間に合わず
19. DWH開発の再出発
 Looker導入というチャンス
 主要ダッシュボード移行を目標に着手。ダッシュボード負債解消、DWH開発のあり方を変えるチャンス 
 
 19 （表の声） Lookerにダッシュボード移行しましょう！ Exploreを活用して分析の再利用を！ 次からバックログ待ちせずに済みますよ！ （裏の声） いまデッドロックを解消しないと終わる … データ出しではなくDWH開発を！
20. DWH開発の再出発
 施策②：データ出し依頼には、クエリ作成だけでなくDWH開発も加える
 「データ出し依頼 = クエリ作成」というテンプレート対応からの脱却。対応選択肢の幅を広げていく 
 20 （表の声） 複雑なクエリ読むの大変ですよね！？ Exploreを活用して分析の再利用を！ 次からバックログ待ちせずに済みますよ！ （裏の声） DWH開発への工数に転換したいです …
21. DWH開発の再出発
 施策③：“Agile Data Modeling” の取り組み
 ダッシュボード移行に際してデータモデリング意識の醸成。DWHの不足を発見して開発する習慣付け 
 21
22. DWH開発の再出発
 安心できるダッシュボードへと再構築し、良いサイクルの再出発を果たした
 チームの余力を見極めて、より生産的なアウトプットを提案し、チーム全体で動機と知識を補い合う 
 22 高難易度のデータ出し 観点の多様化 ダッシュボード構築 DWH開発 意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる
23. 最後に

24. 最後に
 一緒にデータアナリスト+αで、組織の意思決定の価値最大化に貢献しませんか？
 下記の項目（もしくはデータマネジメント）に興味がある方、ぜひ懇親会でお声がけください！ 
 24 高難易度のデータ出し 意思決定の価値最大化 データの民主化 ダッシュボード構築 定量根拠の一般化 UXリサーチ DWH開発 科学的根拠のある分析 分析の高度化 意思決定の精度向上 意思決定構造への助言
25. ご清聴ありがとうございました！