Upgrade to Pro — share decks privately, control downloads, hide ads and more …

『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜

ikeda-masashi
December 14, 2022

『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜

https://forkwell.connpass.com/event/263245/

こちらのイベントの登壇内容です。

ikeda-masashi

December 14, 2022
Tweet

More Decks by ikeda-masashi

Other Decks in Technology

Transcript

  1. 『エンタープライズ』という言葉の重さ 〜
    Data Vault 2.0をやめた2022年冬〜
    2022/12/14 Data Engineering Study #17 18:25〜 池田将士

    View Slide

  2. 自己紹介
    池田 将士 (@mashiike)
    面白法人カヤック
    その他事業部 SREチーム所属
    データエンジニア/サーバーサイドエンジニア
    出身: 千葉県
    趣味: オンラインゲームと食べ比べ、飲み比べ

    View Slide

  3. 会社紹介
    鎌倉の地にて、主にWeb技術を用いて
    人の印象に深く残るような面白コンテンツを作る会社
    ゲームからWebサービス、ミュージアムetc…
    様々なことに挑戦
    ※幅広く挑戦しすぎて、
      中の人も何の会社なのかよくわからないことも・・・

    View Slide

  4. 皆様 
    Data Vault 2.0
    って知っていますか?

    View Slide

  5. スケーラブルなエンタープライズ・
    データウェアハウスを設計できるモ
    デリング手法Hub,Link, Satelliteと
    いう3つの構成要素で3NF系で・・・
    (以下略

    View Slide

  6. 要は
    Agileに、
    監査性のあって、
    スケールしやすい
    データウェアハウス
    を構築できる手法!?
    (暴論)

    View Slide

  7. 約1年と4半期前(15ヶ月前)
    https://speakerdeck.com/mashiike/tonamelfalsedetaji-pan-detamoderingubian

    View Slide

  8. 15ヶ月前の状況 (2021/09頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約3人
    ● サービス数(データソース数): 2個
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View Slide

  9. DataVault2.0いいぞ!!!

    View Slide

  10. 1年前の状況 (2022/01頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約3人 => 約4人
    ● サービス数(データソース数): 2個 => 4個
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View Slide

  11. 連携先(DB)が増えても
    楽に対応できる!!いいね!

    View Slide

  12. 半年前の状況 (2022/06頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約4人 => 約5人
    ● サービス数(データソース数): 4個 => 5個+α
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View Slide

  13. ん?ちょっとまって・・・
    プロダクトの開発早くない?

    View Slide

  14. ちょっと前の状況 (2022/09頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約6人
    ● サービス数(データソース数): 5個+α
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View Slide

  15. お気づきだろうか?
    プロダクトの開発チームは
    スケールするが
     データチームは
    スケールしていない

    View Slide

  16. そして、、、
    データ基盤の保守!
    手が回りません!!

    View Slide

  17. どうしてこうなった!?

    View Slide

  18. データチームの人を
    採用できなかった・・・

    View Slide

  19. というのもありますが、

    View Slide

  20. スケーラブルなエンタープライズ・
    データウェアハウスを設計できるモ
    デリング手法Hub,Link, Satelliteと
    いう3つの構成要素で3NF系で・・・
    (以下略

    View Slide

  21. スケーラブルなエンタープライズ・
    データウェアハウスを設計できるモ
    デリング手法Hub,Link, Satelliteと
    いう3つの構成要素で3NF系で・・・
    (以下略

    View Slide

  22. https://e-words.jp/w/%E3%82%A8%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%97%E3%83%A9%
    E3%82%A4%E3%82%BA.html

    View Slide

  23. ウチは中小企業だ!!(エッ
    従業員数:約300人くらい

    View Slide

  24. どこがエンタープライズ向け?

    View Slide

  25. どこがエンタープライズ向け?
    3NFにしてモデルを疎結合な状態に
    するのが高コスト

    View Slide

  26. どこがエンタープライズ向け?
    3NFにしてモデルを疎結合な状態に
    するのが高コスト
    Sattelliteの履歴を保守管理するのが
    高コスト

    View Slide

  27. どこがエンタープライズ向け?
    時間が立つにつれて
    Vault領域の保守難度が
    爆発的に高くなる。
    物量も多くなるので
    1つのソースシステムに
    少なくとも0.5人くらいはほしい。

    View Slide

  28. で、どうする?

    View Slide

  29. データ基盤の開発効率
    ≒生産性を上げたい

    View Slide

  30. ソフトウェアエンジニアリングの世界には
    ViewとModelを密結合させることで、
    生産性を上げたフレームワークがある
    そう、Rails
    ※ただし、柔軟性に難が出てくる

    View Slide

  31. そうだ!
    柔軟性に関しては妥協
    データマートと
    Stagingを密結合させよう!

    View Slide

  32. View Slide

  33. View Slide

  34. View Slide

  35. DataVault 2.0 やめました。
    2022年冬

    View Slide

  36. で、これって・・・

    View Slide

  37. https://zenn.dev/tenajima/articles/64caed131ba961
    dbt style guide
    通りじゃん!

    View Slide

  38. まとめ
    中小企業(データエンジニア1人未満)で
    Data Vault 2.0を導入した結果…

    View Slide

  39. まとめ
    中小企業(データエンジニア1人未満)で
    Data Vault 2.0を導入した結果…
    手が回らなくなったので、やめた
    気がついたらdbt style guide通りになっていた。

    View Slide

  40. まとめ
    中小企業(データエンジニア1人未満)で
    Data Vault 2.0を導入した結果…
    手が回らなくなったので、やめた
    気がついたらdbt style guide通りになっていた。
    『エンタープライズ』と名がついているものは
    データチームがスケールするなら良い選択肢
    スケールしないなら、覚悟しよう。

    View Slide

  41. 広報活動
    \カヤックに興味を持ってくださった方へ/
    カヤック社員がどんな風に働いているか?
    どんな制作実績があるか?
    などの情報を定期的に配信しています!
    ニュースレターへ登録しませんか?
    https://hubspot.kayac.com/we_are_kayac

    View Slide

  42. ありがとうございました。

    View Slide