Upgrade to Pro — share decks privately, control downloads, hide ads and more …

『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜

『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜

https://forkwell.connpass.com/event/263245/

こちらのイベントの登壇内容です。

ikeda-masashi

December 14, 2022
Tweet

More Decks by ikeda-masashi

Other Decks in Technology

Transcript

  1. 『エンタープライズ』という言葉の重さ 〜
    Data Vault 2.0をやめた2022年冬〜
    2022/12/14 Data Engineering Study #17 18:25〜 池田将士

    View full-size slide

  2. 自己紹介
    池田 将士 (@mashiike)
    面白法人カヤック
    その他事業部 SREチーム所属
    データエンジニア/サーバーサイドエンジニア
    出身: 千葉県
    趣味: オンラインゲームと食べ比べ、飲み比べ

    View full-size slide

  3. 会社紹介
    鎌倉の地にて、主にWeb技術を用いて
    人の印象に深く残るような面白コンテンツを作る会社
    ゲームからWebサービス、ミュージアムetc…
    様々なことに挑戦
    ※幅広く挑戦しすぎて、
      中の人も何の会社なのかよくわからないことも・・・

    View full-size slide

  4. 皆様 
    Data Vault 2.0
    って知っていますか?

    View full-size slide

  5. スケーラブルなエンタープライズ・
    データウェアハウスを設計できるモ
    デリング手法Hub,Link, Satelliteと
    いう3つの構成要素で3NF系で・・・
    (以下略

    View full-size slide

  6. 要は
    Agileに、
    監査性のあって、
    スケールしやすい
    データウェアハウス
    を構築できる手法!?
    (暴論)

    View full-size slide

  7. 約1年と4半期前(15ヶ月前)
    https://speakerdeck.com/mashiike/tonamelfalsedetaji-pan-detamoderingubian

    View full-size slide

  8. 15ヶ月前の状況 (2021/09頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約3人
    ● サービス数(データソース数): 2個
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View full-size slide

  9. DataVault2.0いいぞ!!!

    View full-size slide

  10. 1年前の状況 (2022/01頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約3人 => 約4人
    ● サービス数(データソース数): 2個 => 4個
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View full-size slide

  11. 連携先(DB)が増えても
    楽に対応できる!!いいね!

    View full-size slide

  12. 半年前の状況 (2022/06頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約4人 => 約5人
    ● サービス数(データソース数): 4個 => 5個+α
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View full-size slide

  13. ん?ちょっとまって・・・
    プロダクトの開発早くない?

    View full-size slide

  14. ちょっと前の状況 (2022/09頃)
    プロダクト側
    ● サーバーサイドエンジニア: 約6人
    ● サービス数(データソース数): 5個+α
    データ基盤側
    ● データエンジニア: 約0.6人 (1人が他案件と兼務)

    View full-size slide

  15. お気づきだろうか?
    プロダクトの開発チームは
    スケールするが
     データチームは
    スケールしていない

    View full-size slide

  16. そして、、、
    データ基盤の保守!
    手が回りません!!

    View full-size slide

  17. どうしてこうなった!?

    View full-size slide

  18. データチームの人を
    採用できなかった・・・

    View full-size slide

  19. というのもありますが、

    View full-size slide

  20. スケーラブルなエンタープライズ・
    データウェアハウスを設計できるモ
    デリング手法Hub,Link, Satelliteと
    いう3つの構成要素で3NF系で・・・
    (以下略

    View full-size slide

  21. スケーラブルなエンタープライズ・
    データウェアハウスを設計できるモ
    デリング手法Hub,Link, Satelliteと
    いう3つの構成要素で3NF系で・・・
    (以下略

    View full-size slide

  22. https://e-words.jp/w/%E3%82%A8%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%97%E3%83%A9%
    E3%82%A4%E3%82%BA.html

    View full-size slide

  23. ウチは中小企業だ!!(エッ
    従業員数:約300人くらい

    View full-size slide

  24. どこがエンタープライズ向け?

    View full-size slide

  25. どこがエンタープライズ向け?
    3NFにしてモデルを疎結合な状態に
    するのが高コスト

    View full-size slide

  26. どこがエンタープライズ向け?
    3NFにしてモデルを疎結合な状態に
    するのが高コスト
    Sattelliteの履歴を保守管理するのが
    高コスト

    View full-size slide

  27. どこがエンタープライズ向け?
    時間が立つにつれて
    Vault領域の保守難度が
    爆発的に高くなる。
    物量も多くなるので
    1つのソースシステムに
    少なくとも0.5人くらいはほしい。

    View full-size slide

  28. で、どうする?

    View full-size slide

  29. データ基盤の開発効率
    ≒生産性を上げたい

    View full-size slide

  30. ソフトウェアエンジニアリングの世界には
    ViewとModelを密結合させることで、
    生産性を上げたフレームワークがある
    そう、Rails
    ※ただし、柔軟性に難が出てくる

    View full-size slide

  31. そうだ!
    柔軟性に関しては妥協
    データマートと
    Stagingを密結合させよう!

    View full-size slide

  32. DataVault 2.0 やめました。
    2022年冬

    View full-size slide

  33. で、これって・・・

    View full-size slide

  34. https://zenn.dev/tenajima/articles/64caed131ba961
    dbt style guide
    通りじゃん!

    View full-size slide

  35. まとめ
    中小企業(データエンジニア1人未満)で
    Data Vault 2.0を導入した結果…

    View full-size slide

  36. まとめ
    中小企業(データエンジニア1人未満)で
    Data Vault 2.0を導入した結果…
    手が回らなくなったので、やめた
    気がついたらdbt style guide通りになっていた。

    View full-size slide

  37. まとめ
    中小企業(データエンジニア1人未満)で
    Data Vault 2.0を導入した結果…
    手が回らなくなったので、やめた
    気がついたらdbt style guide通りになっていた。
    『エンタープライズ』と名がついているものは
    データチームがスケールするなら良い選択肢
    スケールしないなら、覚悟しよう。

    View full-size slide

  38. 広報活動
    \カヤックに興味を持ってくださった方へ/
    カヤック社員がどんな風に働いているか?
    どんな制作実績があるか?
    などの情報を定期的に配信しています!
    ニュースレターへ登録しませんか?
    https://hubspot.kayac.com/we_are_kayac

    View full-size slide

  39. ありがとうございました。

    View full-size slide