Slide 1

Slide 1 text

⼤規模データに集まるみんなの負債! との付き合い⽅ ⼤規模データの負債解消への道のり Lunch LT 2024.08.20

Slide 2

Slide 2 text

<主業> 2011〜2014 2014〜2017 2017 2018〜2020 2020〜  <副業> 2021〜2023                  株式会社ヤプリ プロダクト開発本部 データサイエンス室 室⻑ 阿部 昌利 @ABE_Masatoshi データ活⽤組織の ⽴ち上げ期にJOIN (所属部⾨は  プロダクト開発、  経営企画、  マーケティング、  新規事業室 など  まちまち)

Slide 3

Slide 3 text

データ負債は⼤きく2種類あると 考えています ⼤規模データの負債解消への道のり Lunch LT

Slide 4

Slide 4 text

データ基盤⾃体の技術的負債 1 ● データのワークフローにおける負債  例)テーブルにパーティションやクラスターを設定しておらず、不要なコストがかかっている  例)集計結果をインサートできるテーブルを洗い替えで更新しており、コストが増え続けている  例)本来マスタで対応すべき箇所を、ハードコーディングしてDRY原則に反している データ基盤に罪はないが、データ基盤で対応が求められる負債 2 ● 詳細は次ページ ● この負債への対応の仕⽅に正解はない ● が、データエンジニアの社内のおけるプレゼンスに影響する ● データエンジニアリングのつらみや嬉しみにも影響する ⼤規模データの負債解消への道のり Lunch LT

Slide 5

Slide 5 text

データ基盤⾃体の技術的負債 1 ● データのワークフローにおける負債  例)テーブルにパーティションやクラスターを設定しておらず、不要なコストがかかっている  例)集計結果をインサートできるテーブルを洗い替えで更新しており、コストが増え続けている  例)本来マスタで対応すべき箇所を、ハードコーディングしてDRY原則に反している データ基盤に罪はないが、データ基盤で対応が求められる負債 2 ● 詳細は次ページ ● この負債への対応の仕⽅に正解はない ● が、データエンジニアの社内のおけるプレゼンスに影響する ● データエンジニアリングのつらみや嬉しみにも影響する ⼤規模データの負債解消への道のり Lunch LT 今⽇はこちら!

Slide 6

Slide 6 text

データ基盤に集まる負債例 ⼤規模データの負債解消への道のり Lunch LT <過去の意思決定に起因> お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい <連携システムに起因> 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった <会社の⼒学に起因> ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった <期待値の乖離に起因> 本来的に⼀致し得ないデー タなのに、⼀致するものと して公開されてしまってい た

Slide 7

Slide 7 text

データ基盤に集まる負債例 ⼤規模データの負債解消への道のり Lunch LT <過去の意思決定に起因> お⾦で解決してデータを取 得していたが、会社の経済 状況が悪化したので、内製 にしたい <連携システムに起因> 関係システムの運⽤⽅法が データ活⽤に適しておら ず、必要なデータを得るた めに、複雑な⼯程が必要に なってしまった <会社の⼒学に起因> ビジネスメンバーの意向が 強く、拙速な拡張を繰り返 した結果、膨⼤な前処理が 必要になってしまった <期待値の乖離に起因> 本来的に⼀致し得ないデー タなのに、⼀致するものと して公開されてしまってい た トラッキングの基盤 をGA(UA)から内 製基盤へ BIツールのワークフ ローを刷新。 Salesforceのデータ 転送部分から⼿術 dbtを導⼊して 適切な層で 然るべき処理を実施 カスタマーサクセス 部⾨と連携して、 指標を刷新

Slide 8

Slide 8 text

だが、これらの負債はチャンスでもある ⼤規模データの負債解消への道のり Lunch LT

Slide 9

Slide 9 text

負債がチャンスになる例 ⼤規模データの負債解消への道のり Lunch LT ● 経済的リソースや⼈的リソースに関 わる負債 ● ワークフローの処理の複雑さに関わ る負債 ● 数字の正確性や更新性、⼀覧性に関 わる負債 負債の種類 得られるメリット ● → 〜円コスト削減しました ●   〜⼈⽇削減しました ● → 計算速度が爆速になりました ●   変更対応が⼀瞬で出来ます ● → 信じられる数字をいつでも⼀箇所で ●   ⾒られるようになりました

Slide 10

Slide 10 text

負債がチャンスになる例 ⼤規模データの負債解消への道のり Lunch LT ● 経済的リソースや⼈的リソースに関 わる負債 ● ワークフローの処理の複雑さに関わ る負債 ● 数字の正確性や更新性、⼀覧性に関 わる負債 負債の種類 得られるメリット ● → 〜円コスト削減しました ●   〜⼈⽇削減しました ● → 計算速度が爆速になりました ●   変更対応が⼀瞬で出来ます ● → 信じられる数字をいつでも⼀箇所で ●   ⾒られるようになりました データエンジニア リングっていいね! という評価

Slide 11

Slide 11 text

基盤起因ではないのに、 データ基盤で対応が必要な負債 ニーズが実証されているデータ ⼤規模データの負債解消への道のり Lunch LT ≒

Slide 12

Slide 12 text

負債まで育ったデータ基盤の瑕疵は 解決したもん勝ち (⽬の前の⼈からありがとうをもらえる、職務経歴書にビジネス貢献度合いを描けるようになる、 ビジネスや会社への思いやりがあるキャラになれる、偉い⼈の覚えがよくなる、などなど) ⼤規模データの負債解消への道のり Lunch LT

Slide 13

Slide 13 text

集まってきた負債と付き合うコツ ⼤規模データの負債解消への道のり Lunch LT ※あくまでも個⼈の体験に基づきます。組織の状況や⼈によって、参考になる/ならないが、かなり分かれると考えます ● 負債に優先順位をつける ○ 私が優先度を⾼くする負債 ■ ⼼が削られる負債や、時間が奪われる負債 ■ ビジネスインパクトが⼤きい負債 ■ 経営陣に関わる負債 ● 負債をさらに⼤きくする ○ 可能ならばできるだけあとで解決する。時間が経った⽅が、より良いソリューションが⼿に ⼊っていたり、途中でニーズとともに負債が消滅したりするため。場合によってはリーズナブ ルな⽌⾎対応だけする ● 負債をみんなで解決する⽬標として捉える ○ データ負債は誰かを憎みがち。が、基本的には誰も悪くない。過去の⼈たちが頑張った結 果、たまたま今の状況になっているだけ。だから⼀緒に解決しましょうと持ちかける

Slide 14

Slide 14 text

負債をチャンスに キャリアアップしていきましょう! ⼤規模データの負債解消への道のり Lunch LT