Slide 1
Slide 1 text
『エンタープライズ』という言葉の重さ 〜
Data Vault 2.0をやめた2022年冬〜
2022/12/14 Data Engineering Study #17 18:25〜 池田将士
Slide 2
Slide 2 text
自己紹介
池田 将士 (@mashiike)
面白法人カヤック
その他事業部 SREチーム所属
データエンジニア/サーバーサイドエンジニア
出身: 千葉県
趣味: オンラインゲームと食べ比べ、飲み比べ
Slide 3
Slide 3 text
会社紹介
鎌倉の地にて、主にWeb技術を用いて
人の印象に深く残るような面白コンテンツを作る会社
ゲームからWebサービス、ミュージアムetc…
様々なことに挑戦
※幅広く挑戦しすぎて、
中の人も何の会社なのかよくわからないことも・・・
Slide 4
Slide 4 text
皆様
Data Vault 2.0
って知っていますか？
Slide 5
Slide 5 text
スケーラブルなエンタープライズ・
データウェアハウスを設計できるモ
デリング手法Hub,Link, Satelliteと
いう3つの構成要素で3NF系で・・・
(以下略
Slide 6
Slide 6 text
要は
Agileに、
監査性のあって、
スケールしやすい
データウェアハウス
を構築できる手法!?
(暴論)
Slide 7
Slide 7 text
約1年と4半期前(15ヶ月前)
https://speakerdeck.com/mashiike/tonamelfalsedetaji-pan-detamoderingubian
Slide 8
Slide 8 text
15ヶ月前の状況 (2021/09頃)
プロダクト側
● サーバーサイドエンジニア: 約3人
● サービス数(データソース数): 2個
データ基盤側
● データエンジニア: 約0.6人 (1人が他案件と兼務）
Slide 9
Slide 9 text
DataVault2.0いいぞ！！！
Slide 10
Slide 10 text
1年前の状況 (2022/01頃)
プロダクト側
● サーバーサイドエンジニア: 約3人 => 約4人
● サービス数(データソース数): 2個 => 4個
データ基盤側
● データエンジニア: 約0.6人 (1人が他案件と兼務）
Slide 11
Slide 11 text
連携先（DB）が増えても
楽に対応できる！！いいね！
Slide 12
Slide 12 text
半年前の状況 (2022/06頃)
プロダクト側
● サーバーサイドエンジニア: 約4人 => 約5人
● サービス数(データソース数): 4個 => 5個+α
データ基盤側
● データエンジニア: 約0.6人 (1人が他案件と兼務）
Slide 13
Slide 13 text
ん？ちょっとまって・・・
プロダクトの開発早くない？
Slide 14
Slide 14 text
ちょっと前の状況 (2022/09頃)
プロダクト側
● サーバーサイドエンジニア: 約6人
● サービス数(データソース数): 5個+α
データ基盤側
● データエンジニア: 約0.6人 (1人が他案件と兼務）
Slide 15
Slide 15 text
お気づきだろうか？
プロダクトの開発チームは
スケールするが
データチームは
スケールしていない
Slide 16
Slide 16 text
そして、、、
データ基盤の保守！
手が回りません！！
Slide 17
Slide 17 text
どうしてこうなった！？
Slide 18
Slide 18 text
データチームの人を
採用できなかった・・・
Slide 19
Slide 19 text
というのもありますが、
Slide 20
Slide 20 text
スケーラブルなエンタープライズ・
データウェアハウスを設計できるモ
デリング手法Hub,Link, Satelliteと
いう3つの構成要素で3NF系で・・・
(以下略
Slide 21
Slide 21 text
スケーラブルなエンタープライズ・
データウェアハウスを設計できるモ
デリング手法Hub,Link, Satelliteと
いう3つの構成要素で3NF系で・・・
(以下略
Slide 22
Slide 22 text
https://e-words.jp/w/%E3%82%A8%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%97%E3%83%A9%
E3%82%A4%E3%82%BA.html
Slide 23
Slide 23 text
ウチは中小企業だ！！（ｴｯ
従業員数:約300人くらい
Slide 24
Slide 24 text
どこがエンタープライズ向け？
Slide 25
Slide 25 text
どこがエンタープライズ向け？
3NFにしてモデルを疎結合な状態に
するのが高コスト
Slide 26
Slide 26 text
どこがエンタープライズ向け？
3NFにしてモデルを疎結合な状態に
するのが高コスト
Sattelliteの履歴を保守管理するのが
高コスト
Slide 27
Slide 27 text
どこがエンタープライズ向け？
時間が立つにつれて
Vault領域の保守難度が
爆発的に高くなる。
物量も多くなるので
１つのソースシステムに
少なくとも0.5人くらいはほしい。
Slide 28
Slide 28 text
で、どうする？
Slide 29
Slide 29 text
データ基盤の開発効率
≒生産性を上げたい
Slide 30
Slide 30 text
ソフトウェアエンジニアリングの世界には
ViewとModelを密結合させることで、
生産性を上げたフレームワークがある
そう、Rails
※ただし、柔軟性に難が出てくる
Slide 31
Slide 31 text
そうだ！
柔軟性に関しては妥協
データマートと
Stagingを密結合させよう！
Slide 32
Slide 32 text
No content
Slide 33
Slide 33 text
No content
Slide 34
Slide 34 text
No content
Slide 35
Slide 35 text
DataVault 2.0 やめました。
2022年冬
Slide 36
Slide 36 text
で、これって・・・
Slide 37
Slide 37 text
https://zenn.dev/tenajima/articles/64caed131ba961
dbt style guide
通りじゃん！
Slide 38
Slide 38 text
まとめ
中小企業（データエンジニア1人未満）で
Data Vault 2.0を導入した結果…
Slide 39
Slide 39 text
まとめ
中小企業（データエンジニア1人未満）で
Data Vault 2.0を導入した結果…
手が回らなくなったので、やめた
気がついたらdbt style guide通りになっていた。
Slide 40
Slide 40 text
まとめ
中小企業（データエンジニア1人未満）で
Data Vault 2.0を導入した結果…
手が回らなくなったので、やめた
気がついたらdbt style guide通りになっていた。
『エンタープライズ』と名がついているものは
データチームがスケールするなら良い選択肢
スケールしないなら、覚悟しよう。
Slide 41
Slide 41 text
広報活動
＼カヤックに興味を持ってくださった方へ／
カヤック社員がどんな風に働いているか？
どんな制作実績があるか？
などの情報を定期的に配信しています！
ニュースレターへ登録しませんか？
https://hubspot.kayac.com/we_are_kayac
Slide 42
Slide 42 text
ありがとうございました。