Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜
Search
ikeda-masashi
December 14, 2022
Technology
2
3.1k
『エンタープライズ』という言葉の重さ 〜Data Vault 2.0をやめた2022年冬〜
https://forkwell.connpass.com/event/263245/
こちらのイベントの登壇内容です。
ikeda-masashi
December 14, 2022
Tweet
Share
More Decks by ikeda-masashi
See All by ikeda-masashi
運用の役立たないダッシュボードの作り方。
mashiike
3
690
Amazon Aurora MySQL と Amazon Redshift の Zero-ETL Integration について使い所を考えてみた!
mashiike
0
480
Warningアラートを放置しない!アラート駆動でログやメトリックを自動収集する仕組みによる恩恵
mashiike
5
3.4k
Prepalert ~Mackerelアラートにログや集計値を貼り付けてくれるトイル削減ツール~
mashiike
0
1.6k
人狼ゲームで考えるデータ基盤 〜データとはいったい・・・〜
mashiike
0
200
Redshift ServerlessとProvisioned Cluster のちょっとした違い
mashiike
0
2.5k
「北欧、暮らしの道具店」のデータ基盤の変遷
mashiike
1
3.1k
小規模ワークロードにおけるRedshift Serverlessのログの取り扱い
mashiike
0
480
完全に理解した incremetal 〜そして、何もわからないへ〜
mashiike
2
3.8k
Other Decks in Technology
See All in Technology
GA technologiesの経営戦略から駆動するデータ基盤構築
pacocat
0
430
ビズリーチが目指す「開発生産性」ダッシュボード 〜 データ収集の壁と乗り越え方 〜 / dev-productivity-con2024
visional_engineering_and_design
2
870
半年かけてPHP5.6からPHP7.4までバージョンアップした苦労と工夫 PHPカンファレンス福岡2024
kechiiin
1
170
EC2の脆弱性対応で何が使える? Inspector や SSM あたりを整理する #nakanoshima_dev
masahirokawahara
1
150
Refactoring to Expressive Kotlin
davidkwon7
0
190
MySQLのリリースモデルの変更点と最新アップデート / MySQLNewReleaseModel
yoshiakiyamasaki
3
280
お手並み拝見にしないオンボーディング
zuckey_17
2
1.2k
モノリスから小さなシステムへ / Chatworkシステム移行の現在地と今後について@開発生産性カンファレンス
tanakayuki
0
140
AI が奏でる新たな音楽体験 ~生成AIで音楽を作って楽しもう~
shimy
0
120
日本発24時間グローバルイベント"JAWS PANKRATION 2024"の紹介
yoshimi0227
1
150
「開発生産性を上げる改善」って儲かるの?に答えられるようにする / Is development productivity profitable?
i35_267
9
1.4k
リモートワーク時代の守護神 PHP開発者のためのセキュリティ強化術
pyama86
2
720
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
23
2k
Designing with Data
zakiwarfel
96
4.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
73
15k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Bash Introduction
62gerente
606
210k
Making the Leap to Tech Lead
cromwellryan
126
8.7k
BBQ
matthewcrist
80
8.9k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.2k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
661
120k
Speed Design
sergeychernyshev
3
150
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
Transcript
『エンタープライズ』という言葉の重さ 〜 Data Vault 2.0をやめた2022年冬〜 2022/12/14 Data Engineering Study #17
18:25〜 池田将士
自己紹介 池田 将士 (@mashiike) 面白法人カヤック その他事業部 SREチーム所属 データエンジニア/サーバーサイドエンジニア 出身: 千葉県
趣味: オンラインゲームと食べ比べ、飲み比べ
会社紹介 鎌倉の地にて、主にWeb技術を用いて 人の印象に深く残るような面白コンテンツを作る会社 ゲームからWebサービス、ミュージアムetc… 様々なことに挑戦 ※幅広く挑戦しすぎて、 中の人も何の会社なのかよくわからないことも・・・
皆様 Data Vault 2.0 って知っていますか?
スケーラブルなエンタープライズ・ データウェアハウスを設計できるモ デリング手法Hub,Link, Satelliteと いう3つの構成要素で3NF系で・・・ (以下略
要は Agileに、 監査性のあって、 スケールしやすい データウェアハウス を構築できる手法!? (暴論)
約1年と4半期前(15ヶ月前) https://speakerdeck.com/mashiike/tonamelfalsedetaji-pan-detamoderingubian
15ヶ月前の状況 (2021/09頃) プロダクト側 • サーバーサイドエンジニア: 約3人 • サービス数(データソース数): 2個 データ基盤側
• データエンジニア: 約0.6人 (1人が他案件と兼務)
DataVault2.0いいぞ!!!
1年前の状況 (2022/01頃) プロダクト側 • サーバーサイドエンジニア: 約3人 => 約4人 • サービス数(データソース数):
2個 => 4個 データ基盤側 • データエンジニア: 約0.6人 (1人が他案件と兼務)
連携先(DB)が増えても 楽に対応できる!!いいね!
半年前の状況 (2022/06頃) プロダクト側 • サーバーサイドエンジニア: 約4人 => 約5人 • サービス数(データソース数):
4個 => 5個+α データ基盤側 • データエンジニア: 約0.6人 (1人が他案件と兼務)
ん?ちょっとまって・・・ プロダクトの開発早くない?
ちょっと前の状況 (2022/09頃) プロダクト側 • サーバーサイドエンジニア: 約6人 • サービス数(データソース数): 5個+α データ基盤側
• データエンジニア: 約0.6人 (1人が他案件と兼務)
お気づきだろうか? プロダクトの開発チームは スケールするが データチームは スケールしていない
そして、、、 データ基盤の保守! 手が回りません!!
どうしてこうなった!?
データチームの人を 採用できなかった・・・
というのもありますが、
スケーラブルなエンタープライズ・ データウェアハウスを設計できるモ デリング手法Hub,Link, Satelliteと いう3つの構成要素で3NF系で・・・ (以下略
スケーラブルなエンタープライズ・ データウェアハウスを設計できるモ デリング手法Hub,Link, Satelliteと いう3つの構成要素で3NF系で・・・ (以下略
https://e-words.jp/w/%E3%82%A8%E3%83%B3%E3%82%BF%E3%83%BC%E3%83%97%E3%83%A9% E3%82%A4%E3%82%BA.html
ウチは中小企業だ!!(エッ 従業員数:約300人くらい
どこがエンタープライズ向け?
どこがエンタープライズ向け? 3NFにしてモデルを疎結合な状態に するのが高コスト
どこがエンタープライズ向け? 3NFにしてモデルを疎結合な状態に するのが高コスト Sattelliteの履歴を保守管理するのが 高コスト
どこがエンタープライズ向け? 時間が立つにつれて Vault領域の保守難度が 爆発的に高くなる。 物量も多くなるので 1つのソースシステムに 少なくとも0.5人くらいはほしい。
で、どうする?
データ基盤の開発効率 ≒生産性を上げたい
ソフトウェアエンジニアリングの世界には ViewとModelを密結合させることで、 生産性を上げたフレームワークがある そう、Rails ※ただし、柔軟性に難が出てくる
そうだ! 柔軟性に関しては妥協 データマートと Stagingを密結合させよう!
None
None
None
DataVault 2.0 やめました。 2022年冬
で、これって・・・
https://zenn.dev/tenajima/articles/64caed131ba961 dbt style guide 通りじゃん!
まとめ 中小企業(データエンジニア1人未満)で Data Vault 2.0を導入した結果…
まとめ 中小企業(データエンジニア1人未満)で Data Vault 2.0を導入した結果… 手が回らなくなったので、やめた 気がついたらdbt style guide通りになっていた。
まとめ 中小企業(データエンジニア1人未満)で Data Vault 2.0を導入した結果… 手が回らなくなったので、やめた 気がついたらdbt style guide通りになっていた。 『エンタープライズ』と名がついているものは
データチームがスケールするなら良い選択肢 スケールしないなら、覚悟しよう。
広報活動 \カヤックに興味を持ってくださった方へ/ カヤック社員がどんな風に働いているか? どんな制作実績があるか? などの情報を定期的に配信しています! ニュースレターへ登録しませんか? https://hubspot.kayac.com/we_are_kayac
ありがとうございました。