Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2024年に描く青写真(データアーキテクチャ) / strongest-data-archit...

Avatar for pei0804 pei0804
January 16, 2024
Technology
4.1k
2

2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024

みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！
https://datatech-jp.connpass.com/event/301807/

Avatar for pei0804

pei0804

January 16, 2024

More Decks by pei0804

See All by pei0804
データ基盤の開発を全部AIに寄せるためにやっていること / leaning-into-ai-agent-driven-development
Avatar for pei0804 pei0804
3
1.3k
AI活用を"目的"にしたら、データの本質が見えてきた - Snowflake Intelligence実験記 / chasing-ai-finding-data
Avatar for pei0804 pei0804
0
1.2k
Snowflakeでデータ基盤を もう一度作り直すなら / rebuilding-data-platform-with-snowflake
Avatar for pei0804 pei0804
10
2.5k
RevOps実践で学んだ俺が最強のデータ基盤になることの重要性 / revops-practice-learned
Avatar for pei0804 pei0804
1
1.9k
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
Avatar for pei0804 pei0804
1
440
使えるデータ基盤を作る技術選定の秘訣 / selecting-the-right-data-technology
Avatar for pei0804 pei0804
11
5.3k
事業をデータエンジニアリングする / data-engineering-for-business
Avatar for pei0804 pei0804
10
1.9k
進化を加速させる データ基盤CI/CDの実践 / accelerating-data-platform-ci-cd
Avatar for pei0804 pei0804
1
890
RevOpsへ至る道 データ活用による事業革新への挑戦 / path-to-revops
Avatar for pei0804 pei0804
6
1.8k

Other Decks in Technology

See All in Technology
現場のトークンマネジメント
Avatar for dak2 dak2
1
190
2026年6月23日 Syncable Tech + Start Python Club にて
Avatar for Kimikazu Kato hamukazu
0
150
徹底討論！ECS vs EKS！
Avatar for 高棹大樹 daitak
3
1.7k
AI-DLCを “そのまま導入しなかった”話 ~組織に合わせてアジャストした 私たちの実践共有~
Avatar for hiroramos hiroramos4
PRO
1
420
螺旋型キャリアの生存戦略 / kinoko-conf2026
Avatar for Rakus_Dev rakus_dev
1
940
【セミナー資料】Claude Code をセキュアに使うための考え方と設定の勘どころ / Claude Code Webinar 20260616
Avatar for MasahiroKawahara masahirokawahara
2
460
人材育成分科会.pdf
Avatar for _awache _awache
4
330
生成 AI 実践ガイド (概略版) AIガバナンス編
Avatar for Asei Sugiyama asei
0
190
AIをフル活用してオンコール機能のプロトタイプを2日で作った話 / Building an AI-Powered On-Call Prototype in Just Two Days
Avatar for Narimichi Takamura nari_ex
0
110
クレデンシャル流出 ― 攻撃 3 時間 vs 復旧 10 時間。この非対称性にどう備えるか
Avatar for kazzpapa3 kazzpapa3
3
550
OTel × Datadog で 「AI活用」を計測し、改善に繋げる
Avatar for Yuki Shiho shihochan
2
620
40代で“やっとエンジニアになれた”――閉じた学びを開き、空の青さを知る / 20260628 Naoki Takahashi
Avatar for SHIFT EVOLVE shift_evolve
PRO
4
810

Featured

See All Featured
The agentic SEO stack - context over prompts
Avatar for schlessera schlessera
0
820
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
790
250k
Why Our Code Smells
Avatar for Brandon Keepers bkeepers
PRO
340
58k
Efficient Content Optimization with Google Search Console & Apps Script
Avatar for Katarina Dahlin katarinadahlin
PRO
1
630
Leo the Paperboy
Avatar for Maya Tellez mayatellez
7
1.9k
Java REST API Framework Comparison - PWX 2021
Avatar for Matt Raible mraible
34
9.4k
How to Get Subject Matter Experts Bought In and Actively Contributing to SEO & PR Initiatives.
Avatar for Liv Day livdayseo
0
140
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
128
18k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
Avatar for Vitaly Friedman smashingmag
254
22k
So, you think you're a good person
Avatar for Per Axbom axbom
PRO
2
2.1k
Marketing to machines
Avatar for Jono Alderson jonoalderson
1
5.5k
Beyond borders and beyond the search box: How to win the global "messy middle" with AI-driven SEO
Avatar for David Carrasco davidcarrasco
3
170

Transcript

  1. 2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP！

  2. 自己紹介 ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局

    データ部 部長

  3. 本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

  4. 2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT

    SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。

  5. もっと詳しく！人向け。

  6. Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision

  7. Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision

  8. SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい！けど、コスト下げるコス トが高い！ そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf

  9. アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023

  10. dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000

  11. 2023年時点で、 使われるデータ基盤にはなった。

  12. 2024年は、 事業の正のレバレッジになることが目標。

  13. 2024年やりたいこと（抜粋） • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。（2023年は守りが多かった）

    ◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある！

  14. めっちゃ面白そうでしょ？

  15. 弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。