『エンタープライズ』という言葉の重さ〜Data Vault 2.0をやめた2022年冬〜

『エンタープライズ』という言葉の重さ〜 Data Vault 2.0をやめた2022年冬〜 2022/12/14 Data Engineering Study #17
18:25〜池田将士

自己紹介池田将士 (@mashiike) 面白法人カヤックその他事業部 SREチーム所属データエンジニア/サーバーサイドエンジニア出身: 千葉県
趣味: オンラインゲームと食べ比べ、飲み比べ

会社紹介鎌倉の地にて、主にWeb技術を用いて人の印象に深く残るような面白コンテンツを作る会社ゲームからWebサービス、ミュージアムetc… 様々なことに挑戦 ※幅広く挑戦しすぎて、　　中の人も何の会社なのかよくわからないことも・・・

皆様　 Data Vault 2.0 って知っていますか？

スケーラブルなエンタープライズ・データウェアハウスを設計できるモデリング手法Hub,Link, Satelliteという3つの構成要素で3NF系で・・・ (以下略

要は Agileに、監査性のあって、スケールしやすいデータウェアハウスを構築できる手法!? (暴論)

約1年と4半期前(15ヶ月前) https://speakerdeck.com/mashiike/tonamelfalsedetaji-pan-detamoderingubian

15ヶ月前の状況 (2021/09頃) プロダクト側 • サーバーサイドエンジニア: 約3人 • サービス数(データソース数): 2個データ基盤側
• データエンジニア: 約0.6人 (1人が他案件と兼務）

DataVault2.0いいぞ！！！

1年前の状況 (2022/01頃) プロダクト側 • サーバーサイドエンジニア: 約3人 => 約4人 • サービス数(データソース数):
2個 => 4個データ基盤側 • データエンジニア: 約0.6人 (1人が他案件と兼務）

連携先（DB）が増えても楽に対応できる！！いいね！

半年前の状況 (2022/06頃) プロダクト側 • サーバーサイドエンジニア: 約4人 => 約5人 • サービス数(データソース数):
4個 => 5個+α データ基盤側 • データエンジニア: 約0.6人 (1人が他案件と兼務）

ん？ちょっとまって・・・プロダクトの開発早くない？

ちょっと前の状況 (2022/09頃) プロダクト側 • サーバーサイドエンジニア: 約6人 • サービス数(データソース数): 5個+α データ基盤側
• データエンジニア: 約0.6人 (1人が他案件と兼務）

お気づきだろうか？プロダクトの開発チームはスケールするが　データチームはスケールしていない

そして、、、データ基盤の保守！手が回りません！！

どうしてこうなった！？

データチームの人を採用できなかった・・・

というのもありますが、

スケーラブルなエンタープライズ・データウェアハウスを設計できるモデリング手法Hub,Link, Satelliteという3つの構成要素で3NF系で・・・ (以下略

https://e-words.jp/w/%E3%82%A8%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%97%E3%83%A9% E3%82%A4%E3%82%BA.html

ウチは中小企業だ！！（ｴｯ従業員数:約300人くらい

どこがエンタープライズ向け？

どこがエンタープライズ向け？ 3NFにしてモデルを疎結合な状態にするのが高コスト

どこがエンタープライズ向け？ 3NFにしてモデルを疎結合な状態にするのが高コスト Sattelliteの履歴を保守管理するのが高コスト

どこがエンタープライズ向け？時間が立つにつれて Vault領域の保守難度が爆発的に高くなる。物量も多くなるので１つのソースシステムに少なくとも0.5人くらいはほしい。

で、どうする？

データ基盤の開発効率 ≒生産性を上げたい

ソフトウェアエンジニアリングの世界には ViewとModelを密結合させることで、生産性を上げたフレームワークがあるそう、Rails ※ただし、柔軟性に難が出てくる

そうだ！柔軟性に関しては妥協データマートと Stagingを密結合させよう！

DataVault 2.0 やめました。 2022年冬

で、これって・・・

https://zenn.dev/tenajima/articles/64caed131ba961 dbt style guide 通りじゃん！

まとめ中小企業（データエンジニア1人未満）で Data Vault 2.0を導入した結果…

まとめ中小企業（データエンジニア1人未満）で Data Vault 2.0を導入した結果… 手が回らなくなったので、やめた気がついたらdbt style guide通りになっていた。

まとめ中小企業（データエンジニア1人未満）で Data Vault 2.0を導入した結果… 手が回らなくなったので、やめた気がついたらdbt style guide通りになっていた。『エンタープライズ』と名がついているものは
データチームがスケールするなら良い選択肢スケールしないなら、覚悟しよう。

広報活動＼カヤックに興味を持ってくださった方へ／カヤック社員がどんな風に働いているか？どんな制作実績があるか？などの情報を定期的に配信しています！ニュースレターへ登録しませんか？ https://hubspot.kayac.com/we_are_kayac

ありがとうございました。

『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜