Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2024年に描く青写真(データアーキテクチャ) / strongest-data-archit...

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for pei0804 pei0804
January 16, 2024
Technology
4.1k
2

2024年に描く青写真(データアーキテクチャ) / strongest-data-architecture-discussion-2024

みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！
https://datatech-jp.connpass.com/event/301807/

Avatar for pei0804

pei0804

January 16, 2024

More Decks by pei0804

See All by pei0804
データ基盤の開発を全部AIに寄せるためにやっていること / leaning-into-ai-agent-driven-development
Avatar for pei0804 pei0804
2
630
AI活用を"目的"にしたら、データの本質が見えてきた - Snowflake Intelligence実験記 / chasing-ai-finding-data
Avatar for pei0804 pei0804
0
1.1k
Snowflakeでデータ基盤を もう一度作り直すなら / rebuilding-data-platform-with-snowflake
Avatar for pei0804 pei0804
10
2.4k
RevOps実践で学んだ俺が最強のデータ基盤になることの重要性 / revops-practice-learned
Avatar for pei0804 pei0804
1
1.8k
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
Avatar for pei0804 pei0804
1
420
使えるデータ基盤を作る技術選定の秘訣 / selecting-the-right-data-technology
Avatar for pei0804 pei0804
11
5.2k
事業をデータエンジニアリングする / data-engineering-for-business
Avatar for pei0804 pei0804
10
1.8k
進化を加速させる データ基盤CI/CDの実践 / accelerating-data-platform-ci-cd
Avatar for pei0804 pei0804
1
870
RevOpsへ至る道 データ活用による事業革新への挑戦 / path-to-revops
Avatar for pei0804 pei0804
6
1.8k

Other Decks in Technology

See All in Technology
20260515 ⾃分のアカウントとプライバシーを守る認証と認可の話〜利⽤者向け〜
Avatar for OpenID Foundation Japan oidfj
0
710
「強制アップデート」か「チームの自律」か？エンタープライズが辿り着いたプラットフォームのハイブリッド運用/cloudnative-kaigi-hybrid-platform-operations
Avatar for みずほリサーチ&テクノロジーズ株式会社 先端技術研究部 mhrtech
0
210
論文紹介：Pixal3D (SIGGRAPH 2026)
Avatar for TakatoYoshikawa tenten0727
0
270
みんなの考えた最強のデータ基盤アーキテクチャ'26前期〜前夜祭〜ルーキーズ_資料_遠藤な
Avatar for Naoya Endo endonanana
0
450
エムスリーテクノロジーズ株式会社 エンジニア向け紹介資料 / M3 Technologies Company Deck
Avatar for M3 Engineering m3_engineering
0
190
Claude Code で使える DuckDB Skills を試してみた / DuckDB Skills and Claude Code
Avatar for MasahiroKawahara masahirokawahara
1
740
そのSLO 99.9%、本当に必要ですか？ 〜優先度付きSLOによる責任共有の設計思想〜 / Is that 99.9% SLO really necessary? Design philosophy of shared responsibility through prioritized SLOs
Avatar for VTRyo vtryo
0
810
クラウドからエッジまで ~ 1,700台を支える監視設計~
Avatar for OptFit Corp. optfit
0
110
Oracle AI Database@Azure：サービス概要のご紹介
Avatar for oracle4engineer oracle4engineer
PRO
6
1.7k
Fラン学生が考える、AI時代のデザインに執着した突破口
Avatar for husensan husengs7
1
210
ワールドカフェ再び、そしてゴール・ルール・ロール・ツール / World Café Revisited, and the Goals-Rules-Roles-Tools
Avatar for Kenji Saito ks91
PRO
0
180
アプリブロック機能のつくりかたと、AIとHTMLの不合理な相性の良さについて
Avatar for kumamotone kumamotone
1
260

Featured

See All Featured
Navigating Weather and Climate Data
Avatar for Ryan Abernathey rabernat
0
190
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
Avatar for Akihiro Kokubo akihiro_kokubo
PRO
70
39k
A Guide to Academic Writing Using Generative AI - A Workshop
Avatar for Kenji Saito ks91
PRO
1
300
Building Flexible Design Systems
Avatar for Yesenia Perez-Cruz yeseniaperezcruz
330
40k
Unlocking the hidden potential of vector embeddings in international SEO
Avatar for Frank van Dijk frankvandijk
0
800
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
Avatar for Kenny Baas-Schwegler baasie
0
550
Measuring & Analyzing Core Web Vitals
Avatar for Philip Tellis bluesmoon
9
820
AI Search: Implications for SEO and How to Move Forward - #ShenzhenSEOConference
Avatar for Aleyda Solis aleyda
1
1.2k
Collaborative Software Design: How to facilitate domain modelling decisions
Avatar for Kenny Baas-Schwegler baasie
1
220
Money Talks: Using Revenue to Get Sh*t Done
Avatar for Nikki Halliwell nikkihalliwell
0
220
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
6
1.1k
Building Applications with DynamoDB
Avatar for Matt Wood mza
96
7k

Transcript

  1. 2024年に 描く青写真(データアーキテクチャ) データ基盤のこれまでとこれから。 みんなの考えた最強のデータアーキテクチャ '24新春-最新版SP！

  2. 自己紹介 ぺい @pei0804 近森淳平(チカモリ　ジュンペイ) CARTA HOLDINGS CARTA MARKETING FIRM 開発局

    データ部 部長

  3. 本日の発表は、 前回の発表で紹介した データ基盤が題材。 既存のデータ基盤と別に 2022年8月から構築開始し、 現在に至ります。 DWHはSnowflake。 データ変換にdbtを使っています。 https://speakerdeck.com/pei0804/strongest-data-architecture-discussion

  4. 2023年やったこと • 各種プロダクトで、新データ基盤の利用開始。 • 旧データ基盤の利用箇所を減らして、コスト削減。 ◦ まだ、全撤退はできてない。コストクリティカルなとこは完了。 • Elementary Cloud、SELECT

    SaaSの採用。 ◦ 便利 x 続いてほしいサービスにお金を落とす。 • 守りの施策をたくさん打った。 ◦ どんだけ便利でも、不安定なデータ基盤は流行らない。 • 新卒のデータエンジニアをチームに迎え入れた。 • 開発体制の変更。 ◦ 中央集権体制からDataOpsへ。

  5. もっと詳しく！人向け。

  6. Snowflakeと共に 過ごした一年間。 その進化過程と 未来へのVision データ基盤を1から作り、 使われる過程で、どのような変化を 遂げていったかをまとめてます。 https://techblog.cartaholdings.co.jp/entry/snowflake-data-platform-vision

  7. Snowflakeの力を 引き出すためのdbtを 活用したデータ基盤 開発の全貌 dbt-snowflakeを使った開発を、 これでもかってくらい大公開。 便利マクロから、CI/CD、運用まで。 https://techblog.cartaholdings.co.jp/entry/snowflake-dbt-data-platform-vision

  8. SELECTを使った 手間なしSnowflake コスト最適化 コスト下げたい！けど、コスト下げるコス トが高い！ そんなジレンマを解決するべく Snowflakeのコスト最適化ツール SELECTを導入した話。 https://techblog.cartaholdings.co.jp/entry/select-cloud-cost-optimize-cmf

  9. アドテクのビッグデータ を制するSnowflakeの 力 がっつりと使った上で見えた Snowflakeの良さを語りました。 みんな気になるデータ基盤移行話 も少しだけ公開。 https://speakerdeck.com/pei0804/data-cloud-world-tour-tokyo-2023

  10. dbt x snowflakeで 使っていないモデルを 安全に一括で削除する dbtモデルは定義は消えてるけど、 残っちゃってるTableとかを削除。 新卒データエンジニアの@harukiが さくっとやってくれました https://techblog.cartaholdings.co.jp/entry/2024/01/15/113000

  11. 2023年時点で、 使われるデータ基盤にはなった。

  12. 2024年は、 事業の正のレバレッジになることが目標。

  13. 2024年やりたいこと（抜粋） • DataOpsを強化する。 ◦ 色々テコ入れ。Data Observability、Cost Observability、 ドキュメンテーション。 • 攻めの施策を増やす。（2023年は守りが多かった）

    ◦ 例えば、Snowflakeの新しい機能を使った課題解決の可能性模索。 要はもっとワクワクすることやりたい。 • 仲間を増やす。育てる。高め合う。 ◦ 遠くへ行きたければみんなで行け。今年は、もっと遠くに行く。 • 既存データ関連の業務を、抜本的に見直す。 ◦ 見えてる伸びしろがたくさんある！

  14. めっちゃ面白そうでしょ？

  15. 弊社では、データでゴリゴリに価値出したい シニアデータサイエンティストを探しています。 一緒に面白いことしたい人居れば、 こっそり Xの@pei0804でDMください。