Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024
Search
Jumpei Chikamori
January 16, 2024
Technology
2
2.8k
2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024
みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP!
https://datatech-jp.connpass.com/event/301807/
Jumpei Chikamori
January 16, 2024
Tweet
Share
More Decks by Jumpei Chikamori
See All by Jumpei Chikamori
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
pei0804
8
2.1k
アドテクのビッグデータを制するSnowflakeの力 / data-cloud-world-tour-tokyo-2023
pei0804
6
1.3k
ディメンショナル モデリング入門 / introduction-to-dimensional-modeling
pei0804
9
2.4k
データウェアハウス層は、 最初から作らないで良いって本当? / churadata-event-dbt-2022
pei0804
4
1.6k
ぼくのかんがえる最高のデータ分析基盤 / strongest-data-architecture-discussion
pei0804
14
11k
広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4
pei0804
8
1.8k
モデリングはキラキラ技術より地味だが役に立つ / modeling-over-shiny-tech
pei0804
26
13k
データをモデリングしていたら、組織をモデリングし始めた話 / engineers-in-carta-vol3-data-engineer
pei0804
6
5.9k
まだレポーティング業務で疲弊してるの? / aws-media-seminar-2022-Q1
pei0804
3
990
Other Decks in Technology
See All in Technology
複雑な構成要素を持つUIとの向き合い方 〜新・支出グラフでの実例〜 / B43 TECH TALK
nakamuuu
0
140
Reducing Cross-Zone Egress at Spotify with Custom gRPC Load Balancing Recap
koh_naga
0
210
ワールドカフェI /チューターを改良する / World Café I and Improving the Tutors
ks91
PRO
0
120
私が trocco を推す理由
__allllllllez__
1
260
One engineer company with Ruby on Rails
rstankov
2
110
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
2
190
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
300
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
1
120
今日からできる!簡単 .NET 高速化 Tips -2024 edition-
xin9le
3
610
20240418_Google ColabにLLMが搭載されたようなのでPython x データ分析の勉強方法を考えてみる
doradora09
0
140
require(ESM)とECMAScript仕様
uhyo
3
820
Kernel MemoryでAzure OpenAI Serviceとお手軽データソース連携
mitsuzono
1
260
Featured
See All Featured
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
7
1k
Code Reviewing Like a Champion
maltzj
514
39k
Music & Morning Musume
bryan
41
5.6k
Designing Experiences People Love
moore
136
23k
Designing with Data
zakiwarfel
96
4.8k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
Designing for Performance
lara
601
67k
Thoughts on Productivity
jonyablonski
58
3.8k
Fireside Chat
paigeccino
21
2.6k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Transcript
2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP!
自己紹介 ぺい @pei0804 近森淳平(チカモリ ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局
データ部 部長
本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion
2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT
SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。
もっと詳しく!人向け。
Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision
Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision
SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい!けど、コスト下げるコス トが高い! そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf
アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023
dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000
2023年時点で、 使われるデータ基盤にはなった。
2024年は、 事業の正のレバレッジになることが目標。
2024年やりたいこと(抜粋) • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。(2023年は守りが多かった)
◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある!
めっちゃ面白そうでしょ?
弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。