2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024

2024年に描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP！

自己紹介ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局
データ部部長

本日の発表は、前回の発表で紹介したデータ基盤が題材。既存のデータ基盤と別に 2022年8月から構築開始し、現在に至ります。 DWHはSnowﬂake。データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT
SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。

もっと詳しく！人向け。

Snowﬂakeと共に過ごした一年間。その進化過程と未来へのVision データ基盤を1から作り、使われる過程で、どのような変化を遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision

Snowﬂakeの力を引き出すためのdbtを活用したデータ基盤開発の全貌 dbt-snowﬂakeを使った開発を、これでもかってくらい大公開。便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision

SELECTを使った手間なしSnowﬂake コスト最適化コスト下げたい！けど、コスト下げるコストが高い！そんなジレンマを解決するべく Snowﬂakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf

アドテクのビッグデータを制するSnowﬂakeの力がっつりと使った上で見えた Snowﬂakeの良さを語りました。みんな気になるデータ基盤移行話も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023

dbt x snowﬂakeで使っていないモデルを安全に一括で削除する dbtモデルは定義は消えてるけど、残っちゃってるTableとかを削除。新卒データエンジニアの@harukiがさくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000

2023年時点で、使われるデータ基盤にはなった。

2024年は、事業の正のレバレッジになることが目標。

2024年やりたいこと（抜粋） • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、ドキュメンテーション。 • 攻めの施策を増やす。（2023年は守りが多かった）
◦ 例えば、Snowﬂakeの新しい機能を使った課題解決の可能性模索。要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある！

めっちゃ面白そうでしょ？

弊社では、データでゴリゴリに価値出したいシニアデータサイエンティストを探しています。一緒に面白いことしたい人居れば、こっそり Xの@pei0804でDMください。

2024年に描く青写真(データアーキテクチャ) / strongest-data-archit...

2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024

pei0804

More Decks by pei0804

Other Decks in Technology

Featured

Transcript