Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
2024年に描く青写真(データアーキテクチャ) / strongest-data-archit...
Search
pei0804
January 16, 2024
Technology
2
3.9k
2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024
みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP!
https://datatech-jp.connpass.com/event/301807/
pei0804
January 16, 2024
Tweet
Share
More Decks by pei0804
See All by pei0804
使えるデータ基盤を作る技術選定の秘訣 / selecting-the-right-data-technology
pei0804
10
3.6k
事業をデータエンジニアリングする / data-engineering-for-business
pei0804
10
1.5k
進化を加速させる データ基盤CI/CDの実践 / accelerating-data-platform-ci-cd
pei0804
1
690
RevOpsへ至る道 データ活用による事業革新への挑戦 / path-to-revops
pei0804
6
1.3k
ビジネスに必要な全てを担い、 自分の専門性を見つけ出す フルサイクル開発者のあり方@技育祭 秋 / how-find-own-speciality-in-full-cycle
pei0804
7
1.3k
データドリブン経営への転換 / transforming-to-data-driven
pei0804
10
3.8k
DataOps実現への道筋 持続可能な運用体制の構築 / journey-to-dataops
pei0804
8
1.7k
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
pei0804
10
4.8k
アドテクのビッグデータを制するSnowflakeの力 / data-cloud-world-tour-tokyo-2023
pei0804
6
2.1k
Other Decks in Technology
See All in Technology
「クラウドコスト絶対削減」を支える技術—FinOpsを超えた徹底的なクラウドコスト削減の実践論
delta_tech
4
140
Backlog ユーザー棚卸しRTA、多分これが一番早いと思います
__allllllllez__
1
140
生成AI時代の開発組織・技術・プロセス 〜 ログラスの挑戦と考察 〜
itohiro73
1
430
KubeCon + CloudNativeCon Japan 2025 Recap
ren510dev
1
370
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
27k
赤煉瓦倉庫勉強会「Databricksを選んだ理由と、絶賛真っ只中のデータ基盤移行体験記」
ivry_presentationmaterials
2
330
AWS認定を取る中で感じたこと
siromi
1
170
fukabori.fm 出張版: 売上高617億円と高稼働率を陰で支えた社内ツール開発のあれこれ話 / 20250704 Yoshimasa Iwase & Tomoo Morikawa
shift_evolve
PRO
2
6.8k
敢えて生成AIを使わないマネジメント業務
kzkmaeda
2
370
PO初心者が考えた ”POらしさ”
nb_rady
0
190
ドメイン特化なCLIPモデルとデータセットの紹介
tattaka
2
580
5min GuardDuty Extended Threat Detection EKS
takakuni
0
190
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
42
2.7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
46
9.6k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
810
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
Into the Great Unknown - MozCon
thekraken
39
1.9k
What's in a price? How to price your products and services
michaelherold
246
12k
The Invisible Side of Design
smashingmag
301
51k
RailsConf 2023
tenderlove
30
1.1k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Transcript
2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP!
自己紹介 ぺい @pei0804 近森淳平(チカモリ ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局
データ部 部長
本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion
2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT
SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。
もっと詳しく!人向け。
Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision
Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision
SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい!けど、コスト下げるコス トが高い! そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf
アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023
dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000
2023年時点で、 使われるデータ基盤にはなった。
2024年は、 事業の正のレバレッジになることが目標。
2024年やりたいこと(抜粋) • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。(2023年は守りが多かった)
◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある!
めっちゃ面白そうでしょ?
弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。