Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024
Search
Jumpei Chikamori
January 16, 2024
Technology
2
2.9k
2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024
みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP!
https://datatech-jp.connpass.com/event/301807/
Jumpei Chikamori
January 16, 2024
Tweet
Share
More Decks by Jumpei Chikamori
See All by Jumpei Chikamori
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
pei0804
8
2.2k
アドテクのビッグデータを制するSnowflakeの力 / data-cloud-world-tour-tokyo-2023
pei0804
6
1.3k
ディメンショナル モデリング入門 / introduction-to-dimensional-modeling
pei0804
9
2.5k
データウェアハウス層は、 最初から作らないで良いって本当? / churadata-event-dbt-2022
pei0804
4
1.6k
ぼくのかんがえる最高のデータ分析基盤 / strongest-data-architecture-discussion
pei0804
14
11k
広告レポーティング基盤に、dbtを導入したら別物になった話 / tokyo-dbt-meetup-4
pei0804
8
1.8k
モデリングはキラキラ技術より地味だが役に立つ / modeling-over-shiny-tech
pei0804
26
13k
データをモデリングしていたら、組織をモデリングし始めた話 / engineers-in-carta-vol3-data-engineer
pei0804
6
5.9k
まだレポーティング業務で疲弊してるの? / aws-media-seminar-2022-Q1
pei0804
3
990
Other Decks in Technology
See All in Technology
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
530
個人的、Kubernetes の最新注目機能! (2024年5月版) / TechFeed Experts Night#28 〜 コンテナ技術最前線
pfn
PRO
3
160
Kaggleで学ぶ系列データのための深層学習モデリング
yu4u
7
1.5k
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
3.7k
コードファーストの考え方。 Amplify Gen2から学ぶAWS次世代のWeb開発体験
yoshiitaka
2
560
Rustで「プリズモイダル法」を利用して「土量計算」をガチでやる
nokonoko1203
1
360
How to Lead? Testimonial of a Lead Android Engineer
oleur
1
130
Gradle Build Scanを使ってビルドのことを知ろう potatotips #87
tomorrowkey
2
170
ルーターでプレゼンする
puhitaku
1
3.4k
TanStack Routerで型安全かつ効率的なルーティングを実現
ytaisei
4
550
DevRelによる信頼構築とデータ駆動で変わるエンジニア採用 / DevRel Trust Building to Data Driven Engineering Hiring
bobtani
1
100
M5と自作基板をくっつけてみた〜M5 Japan Tour 2024 Spring 福冈 (Fukuoka|福岡)〜
keropiyo
1
260
Featured
See All Featured
YesSQL, Process and Tooling at Scale
rocio
165
13k
Infographics Made Easy
chrislema
238
18k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.4k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Building Your Own Lightsaber
phodgson
100
5.7k
Web Components: a chance to create the future
zenorocha
306
41k
Imperfection Machines: The Place of Print at Facebook
scottboms
261
12k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
20
1.8k
Code Review Best Practice
trishagee
56
15k
A designer walks into a library…
pauljervisheath
201
23k
Designing with Data
zakiwarfel
96
4.8k
Transcript
2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP!
自己紹介 ぺい @pei0804 近森淳平(チカモリ ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局
データ部 部長
本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion
2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT
SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。
もっと詳しく!人向け。
Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision
Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision
SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい!けど、コスト下げるコス トが高い! そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf
アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023
dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000
2023年時点で、 使われるデータ基盤にはなった。
2024年は、 事業の正のレバレッジになることが目標。
2024年やりたいこと(抜粋) • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。(2023年は守りが多かった)
◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある!
めっちゃ面白そうでしょ?
弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。