Slide 1

Slide 1 text

2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP!

Slide 2

Slide 2 text

自己紹介 ぺい @pei0804 近森淳平(チカモリ ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局 データ部 部長

Slide 3

Slide 3 text

本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

Slide 4

Slide 4 text

2023年やったこと ● 各種プロダクトで、新データ基盤の利用開始。 ● 旧データ基盤の利用箇所を減らして、コスト削減。 ○ まだ、全撤退はできてない。コストクリティカルなとこは完了。 ● Elementary Cloud、SELECT SaaSの採用。 ○ 便利 x 続いてほしいサービスにお金を落とす。 ● 守りの施策をたくさん打った。 ○ どんだけ便利でも、不安定なデータ基盤は流行らない。 ● 新卒のデータエンジニアをチームに迎え入れた。 ● 開発体制の変更。 ○ 中央集権体制からDataOpsへ。

Slide 5

Slide 5 text

もっと詳しく!人向け。

Slide 6

Slide 6 text

Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision

Slide 7

Slide 7 text

Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision

Slide 8

Slide 8 text

SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい!けど、コスト下げるコス トが高い! そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf

Slide 9

Slide 9 text

アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023

Slide 10

Slide 10 text

dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000

Slide 11

Slide 11 text

2023年時点で、 使われるデータ基盤にはなった。

Slide 12

Slide 12 text

2024年は、 事業の正のレバレッジになることが目標。

Slide 13

Slide 13 text

2024年やりたいこと(抜粋) ● DataOpsを強化する。 ○ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 ● 攻めの施策を増やす。(2023年は守りが多かった) ○ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 ● 仲間を増やす。育てる。高め合う。 ○ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 ● 既存データ関連の業務を、抜本的に見直す。 ○ 見えてる伸びしろがたくさんある!

Slide 14

Slide 14 text

めっちゃ面白そうでしょ?

Slide 15

Slide 15 text

弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。