データアナリストが育てるDWH

by yukihide watanabe

Slide 1

Slide 1 text

データアナリストが育てるDWH  Watanabe Yukihide  DWH開発の停滞と再出発   2021.07.28  1

Slide 2

Slide 2 text

自己紹介  Watanabe Yukihide    ● 職域：Analytics Engineer  ● 趣味：ロードバイク，マンガ  ● 好きなトッピング：九条ネギ  2

Slide 3

Slide 3 text

データアナリスト主体でDWHを育てるために  乗り越えたアンチパターンの話 

Slide 4

Slide 4 text

目次  1. RettyのDWH開発    2. DWH開発の停滞    3. DWH開発の再出発    4. 最後に  4

Slide 5

Slide 5 text

RettyのDWH開発 

Slide 6

Slide 6 text

高難易度のデータ出し RettyのDWH開発  Rettyのデータ分析チームは、”意思決定の価値最大化”を目的とするチーム  6 意思決定の価値最大化データの民主化ダッシュボード構築定量根拠の一般化 UXリサーチ DWH開発科学的根拠のある分析分析の高度化意思決定の精度向上意思決定構造への助言

Slide 7

Slide 7 text

RettyのDWH開発  データアナリスト主体でDWH開発する理想を掲げている  ELT形式のデータフロー。GitとSQLのスキルでDWH開発ができる環境。月一で集中作業の時間を確保   チーム開発のためのデータウェアハウスアーキテクチャ 7

Slide 8

Slide 8 text

DWH開発の停滞  ＼本題／

Slide 9

Slide 9 text

DWH開発の停滞  DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞  データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ…   9 高難易度のデータ出し意思決定の最大化データの民主化定量根拠の一般化 DWH開発分析の高度化意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼されていく

Slide 10

Slide 10 text

DWH開発の停滞  DWHの開発速度が追いつかず、データアナリストが利用しやすい程度で停滞  データの民主化で増えた社内のBigQueryユーザーにとって、難しい集計はデータアナリスト依頼へ…   10 高難易度のデータ出し意思決定の最大化データの民主化定量根拠の一般化 DWH開発分析の高度化意思決定の精度向上 DWHでできない集計は”高難易度” データ分析チームに依頼され始めるデータの民主化をしているはずが、データアナリストのタスクが減らない…🤔

Slide 11

Slide 11 text

DWH開発の停滞  因果ループを用いた現状分析により、デッドロック状態であることを確認  意思決定が進捗すると観点が多様化。DWHに未実装だとデータ出し依頼がきて、DWH開発の工数を圧迫   11 高難易度のデータ出し観点の複雑化ダッシュボード構築 DWH開発意思決定の進捗

Slide 12

Slide 12 text

DWH開発の停滞  ①意思決定の進捗のために、一定の速度・品質を提供し続ける  意思決定の進捗が生まれ、チーム・組織のデータ活用が高度になっていくサイクル   12 高難易度のデータ出し観点の複雑化ダッシュボード構築 DWH開発意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける

Slide 13

Slide 13 text

DWH開発の停滞  ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える  高難易度のデータ出しがデータアナリストから手離れせず、タスクとして少なからず積もっていく   13 高難易度のデータ出し観点の複雑化ダッシュボード構築 DWH開発意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える

Slide 14

Slide 14 text

DWH開発の停滞  ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる  長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況   14 高難易度のデータ出し観点の複雑化ダッシュボード構築 DWH開発意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える

Slide 15

Slide 15 text

DWH開発の停滞  ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる  長期的は大きな悪影響につながる可能性があるものを産み出さざるを得ない状況   15 高難易度のデータ出し観点の複雑化ダッシュボード構築 DWH開発意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合わないので、データ出し依頼が増える ③DWHにない処理を含む、数値誤差の危険性のあるダッシュボードが生まる DWH開発による利益実感が少ないためデータアナリストの開発動機も低迷していた

Slide 16

Slide 16 text

DWH開発の停滞  DWH開発を通してデータアナリスト自身が利益実感できるサイクルを目指す    知識のコード化 (Knowledge as Code)を通じて、採用・育成などの物理リソースに依存しない状態   16 高難易度のデータ出し観点の多様化ダッシュボード構築 DWH開発意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる

Slide 17

Slide 17 text

DWH開発の再出発 

Slide 18

Slide 18 text

DWH開発の再出発  施策①：工数不足に関する解決策として、スクラム体制を導入した    バックログに従うことで工数制御。しかしDWH開発の優先度は低いままで、直接の解決策とはなり得ず   18 高難易度のデータ出し観点の複雑化ダッシュボード構築 DWH開発意思決定の進捗 ①速度を調整しつつ、一定の品質を提供し続ける ②DWH開発の優先度が上がり難く、多様化の速度には間に合わず

Slide 19

Slide 19 text

DWH開発の再出発  Looker導入というチャンス  主要ダッシュボード移行を目標に着手。ダッシュボード負債解消、DWH開発のあり方を変えるチャンス     19 （表の声） Lookerにダッシュボード移行しましょう！ Exploreを活用して分析の再利用を！次からバックログ待ちせずに済みますよ！（裏の声）いまデッドロックを解消しないと終わる … データ出しではなくDWH開発を！

Slide 20

Slide 20 text

DWH開発の再出発  施策②：データ出し依頼には、クエリ作成だけでなくDWH開発も加える  「データ出し依頼 = クエリ作成」というテンプレート対応からの脱却。対応選択肢の幅を広げていく   20 （表の声）複雑なクエリ読むの大変ですよね！？ Exploreを活用して分析の再利用を！次からバックログ待ちせずに済みますよ！（裏の声） DWH開発への工数に転換したいです …

Slide 21

Slide 21 text

DWH開発の再出発  施策③：“Agile Data Modeling” の取り組み  ダッシュボード移行に際してデータモデリング意識の醸成。DWHの不足を発見して開発する習慣付け   21

Slide 22

Slide 22 text

DWH開発の再出発  安心できるダッシュボードへと再構築し、良いサイクルの再出発を果たした  チームの余力を見極めて、より生産的なアウトプットを提案し、チーム全体で動機と知識を補い合う   22 高難易度のデータ出し観点の多様化ダッシュボード構築 DWH開発意思決定の進捗 ①意思決定の進捗のために、一定の速度・品質を提供し続ける ②DWH開発が多様化の速度に間に合い、データの民主化が達成される ③数値定義に安心感のあるダッシュボードが生まれる

Slide 23

Slide 23 text

最後に 

Slide 24

Slide 24 text

最後に  一緒にデータアナリスト+αで、組織の意思決定の価値最大化に貢献しませんか？  下記の項目（もしくはデータマネジメント）に興味がある方、ぜひ懇親会でお声がけください！   24 高難易度のデータ出し意思決定の価値最大化データの民主化ダッシュボード構築定量根拠の一般化 UXリサーチ DWH開発科学的根拠のある分析分析の高度化意思決定の精度向上意思決定構造への助言

Slide 25

Slide 25 text

ご清聴ありがとうございました！ 