データアナリストが育てるDWH

[オンライン開催] Retty ✕ Mercari Analyst Talk Night!　登壇資料
https://mercari.connpass.com/event/218848/

Transcript

1. データアナリストが育てるDWH

   Watanabe Yukihide

   DWH開発の停滞と再出発 

   2021.07.28

   1
   

   View Slide

2. 自己紹介

   Watanabe Yukihide

   

   ● 職域：Analytics Engineer

   ● 趣味：ロードバイク，マンガ

   ● 好きなトッピング：九条ネギ

   2
   

   View Slide

3. データアナリスト主体でDWHを育てるために

   乗り越えたアンチパターンの話

   

   View Slide

4. 目次

   1. RettyのDWH開発

   

   2. DWH開発の停滞

   

   3. DWH開発の再出発

   

   4. 最後に

   4
   

   View Slide

5. RettyのDWH開発

   

   View Slide

6. 高難易度のデータ出し
   RettyのDWH開発

   Rettyのデータ分析チームは、”意思決定の価値最大化”を目的とするチーム

   6
   意思決定の価値最大化
   データの民主化
   ダッシュボード構築
   定量根拠の一般化
   UXリサーチ
   DWH開発
   科学的根拠のある分析
   分析の高度化 意思決定の精度向上
   意思決定構造への助言
   

   View Slide

7. RettyのDWH開発

   データアナリスト主体でDWH開発する理想を掲げている

   ELT形式のデータフロー。GitとSQLのスキルでDWH開発ができる環境。月一で集中作業の時間を確保 

   チーム開発のためのデータウェアハウスアーキテクチャ
   7
   

   View Slide

8. DWH開発の停滞

   ＼ 本題
   ／
   

   View Slide

9. DWH開発の停滞

   DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞

   データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 

   9
   高難易度のデータ出し
   意思決定の最大化
   データの民主化 定量根拠の一般化
   DWH開発
   分析の高度化 意思決定の精度向上
   DWHでできない集計は”高難易度”
   データ分析チームに依頼されていく
   

   View Slide

10. DWH開発の停滞

    DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞

    データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ… 

    10
    高難易度のデータ出し
    意思決定の最大化
    データの民主化 定量根拠の一般化
    DWH開発
    分析の高度化 意思決定の精度向上
    DWHでできない集計は”高難易度”
    データ分析チームに依頼され始める
    データの民主化をしているはずが、
    データアナリストのタスクが減らない…🤔
    

    View Slide

11. DWH開発の停滞

    因果ループを用いた現状分析により、デッドロック状態であることを確認

    意思決定が進捗すると観点が多様化。DWHに未実装だとデータ出し依頼がきて、DWH開発の工数を圧迫 

    11
    高難易度のデータ出し
    観点の複雑化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    

    View Slide

12. DWH開発の停滞

    ①意思決定の進捗のために、一定の速度・品質を提供し続ける

    意思決定の進捗が生まれ、チーム・組織のデータ活用が高度になっていくサイクル 

    12
    高難易度のデータ出し
    観点の複雑化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①意思決定の進捗のために、一定の速度・品質を提供し続ける
    

    View Slide

13. DWH開発の停滞

    ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える

    高難易度のデータ出しがデータアナリストから手離れせず、タスクとして少なからず積もっていく 

    13
    高難易度のデータ出し
    観点の複雑化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①意思決定の進捗のために、一定の速度・品質を提供し続ける
    ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
    

    View Slide

14. DWH開発の停滞

    ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる

    長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 

    14
    高難易度のデータ出し
    観点の複雑化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①意思決定の進捗のために、一定の速度・品質を提供し続ける
    ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる
    ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
    

    View Slide

15. DWH開発の停滞

    ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる

    長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況 

    15
    高難易度のデータ出し
    観点の複雑化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①意思決定の進捗のために、一定の速度・品質を提供し続ける
    ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える
    ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる
    DWH開発による利益実感が少ないため
    データアナリストの開発動機も低迷していた
    

    View Slide

16. DWH開発の停滞

    DWH開発を通してデータアナリスト自身が利益実感できるサイクルを目指す

    

    知識のコード化 (Knowledge as Code)を通じて、採用・育成などの物理リソースに依存しない状態 

    16
    高難易度のデータ出し
    観点の多様化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①意思決定の進捗のために、一定の速度・品質を提供し続ける
    ②DWH開発が多様化の速度に間に合い、データの民主化が達成される
    ③数値定義に安心感のあるダッシュボードが生まれる
    

    View Slide

17. DWH開発の再出発

    

    View Slide

18. DWH開発の再出発

    施策①：工数不足に関する解決策として、スクラム体制を導入した

    

    バックログに従うことで工数制御。しかしDWH開発の優先度は低いままで、直接の解決策とはなり得ず 

    18
    高難易度のデータ出し
    観点の複雑化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①速度を調整しつつ、一定の品質を提供し続ける
    ②DWH開発の優先度が上がり難く、多様化の速度には間に合わず
    

    View Slide

19. DWH開発の再出発

    Looker導入というチャンス

    主要ダッシュボード移行を目標に着手。ダッシュボード負債解消、DWH開発のあり方を変えるチャンス 

    

    19
    （表の声）
    Lookerにダッシュボード移行しましょう！
    Exploreを活用して分析の再利用を！
    次からバックログ待ちせずに済みますよ！
    （裏の声）
    いまデッドロックを解消しないと終わる
    …
    データ出しではなくDWH開発を！
    

    View Slide

20. DWH開発の再出発

    施策②：データ出し依頼には、クエリ作成だけでなくDWH開発も加える

    「データ出し依頼 = クエリ作成」というテンプレート対応からの脱却。対応選択肢の幅を広げていく 

    20
    （表の声）
    複雑なクエリ読むの大変ですよね！？
    Exploreを活用して分析の再利用を！
    次からバックログ待ちせずに済みますよ！
    （裏の声）
    DWH開発への工数に転換したいです
    …
    

    View Slide

21. DWH開発の再出発

    施策③：“Agile Data Modeling” の取り組み

    ダッシュボード移行に際してデータモデリング意識の醸成。DWHの不足を発見して開発する習慣付け 

    21
    

    View Slide

22. DWH開発の再出発

    安心できるダッシュボードへと再構築し、良いサイクルの再出発を果たした

    チームの余力を見極めて、より生産的なアウトプットを提案し、チーム全体で動機と知識を補い合う 

    22
    高難易度のデータ出し
    観点の多様化
    ダッシュボード構築
    DWH開発 意思決定の進捗
    ①意思決定の進捗のために、一定の速度・品質を提供し続ける
    ②DWH開発が多様化の速度に間に合い、データの民主化が達成される
    ③数値定義に安心感のあるダッシュボードが生まれる
    

    View Slide

23. 最後に

    

    View Slide

24. 最後に

    一緒にデータアナリスト+αで、組織の意思決定の価値最大化に貢献しませんか？

    下記の項目（もしくはデータマネジメント）に興味がある方、ぜひ懇親会でお声がけください！ 

    24
    高難易度のデータ出し 意思決定の価値最大化
    データの民主化
    ダッシュボード構築
    定量根拠の一般化
    UXリサーチ
    DWH開発
    科学的根拠のある分析
    分析の高度化 意思決定の精度向上
    意思決定構造への助言
    

    View Slide

25. ご清聴ありがとうございました！

    

    View Slide