https://forkwell.connpass.com/event/263245/
こちらのイベントの登壇内容です。
『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜2022/12/14 Data Engineering Study #17 18:25〜 池田将士
View Slide
自己紹介池田 将士 (@mashiike)面白法人カヤックその他事業部 SREチーム所属データエンジニア/サーバーサイドエンジニア出身: 千葉県趣味: オンラインゲームと食べ比べ、飲み比べ
会社紹介鎌倉の地にて、主にWeb技術を用いて人の印象に深く残るような面白コンテンツを作る会社ゲームからWebサービス、ミュージアムetc…様々なことに挑戦※幅広く挑戦しすぎて、 中の人も何の会社なのかよくわからないことも・・・
皆様 Data Vault 2.0って知っていますか?
スケーラブルなエンタープライズ・データウェアハウスを設計できるモデリング手法Hub,Link, Satelliteという3つの構成要素で3NF系で・・・(以下略
要はAgileに、監査性のあって、スケールしやすいデータウェアハウスを構築できる手法!?(暴論)
約1年と4半期前(15ヶ月前)https://speakerdeck.com/mashiike/tonamelfalsedetaji-pan-detamoderingubian
15ヶ月前の状況 (2021/09頃)プロダクト側● サーバーサイドエンジニア: 約3人● サービス数(データソース数): 2個データ基盤側● データエンジニア: 約0.6人 (1人が他案件と兼務)
DataVault2.0いいぞ!!!
1年前の状況 (2022/01頃)プロダクト側● サーバーサイドエンジニア: 約3人 => 約4人● サービス数(データソース数): 2個 => 4個データ基盤側● データエンジニア: 約0.6人 (1人が他案件と兼務)
連携先(DB)が増えても楽に対応できる!!いいね!
半年前の状況 (2022/06頃)プロダクト側● サーバーサイドエンジニア: 約4人 => 約5人● サービス数(データソース数): 4個 => 5個+αデータ基盤側● データエンジニア: 約0.6人 (1人が他案件と兼務)
ん?ちょっとまって・・・プロダクトの開発早くない?
ちょっと前の状況 (2022/09頃)プロダクト側● サーバーサイドエンジニア: 約6人● サービス数(データソース数): 5個+αデータ基盤側● データエンジニア: 約0.6人 (1人が他案件と兼務)
お気づきだろうか?プロダクトの開発チームはスケールするが データチームはスケールしていない
そして、、、データ基盤の保守!手が回りません!!
どうしてこうなった!?
データチームの人を採用できなかった・・・
というのもありますが、
https://e-words.jp/w/%E3%82%A8%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%97%E3%83%A9%E3%82%A4%E3%82%BA.html
ウチは中小企業だ!!(エッ従業員数:約300人くらい
どこがエンタープライズ向け?
どこがエンタープライズ向け?3NFにしてモデルを疎結合な状態にするのが高コスト
どこがエンタープライズ向け?3NFにしてモデルを疎結合な状態にするのが高コストSattelliteの履歴を保守管理するのが高コスト
どこがエンタープライズ向け?時間が立つにつれてVault領域の保守難度が爆発的に高くなる。物量も多くなるので1つのソースシステムに少なくとも0.5人くらいはほしい。
で、どうする?
データ基盤の開発効率≒生産性を上げたい
ソフトウェアエンジニアリングの世界にはViewとModelを密結合させることで、生産性を上げたフレームワークがあるそう、Rails※ただし、柔軟性に難が出てくる
そうだ!柔軟性に関しては妥協データマートとStagingを密結合させよう!
DataVault 2.0 やめました。2022年冬
で、これって・・・
https://zenn.dev/tenajima/articles/64caed131ba961dbt style guide通りじゃん!
まとめ中小企業(データエンジニア1人未満)でData Vault 2.0を導入した結果…
まとめ中小企業(データエンジニア1人未満)でData Vault 2.0を導入した結果…手が回らなくなったので、やめた気がついたらdbt style guide通りになっていた。
まとめ中小企業(データエンジニア1人未満)でData Vault 2.0を導入した結果…手が回らなくなったので、やめた気がついたらdbt style guide通りになっていた。『エンタープライズ』と名がついているものはデータチームがスケールするなら良い選択肢スケールしないなら、覚悟しよう。
広報活動\カヤックに興味を持ってくださった方へ/カヤック社員がどんな風に働いているか?どんな制作実績があるか?などの情報を定期的に配信しています!ニュースレターへ登録しませんか?https://hubspot.kayac.com/we_are_kayac
ありがとうございました。