Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
Search
Sagara
October 12, 2023
Technology
1
1.3k
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
2023/10/12に開催された「クラウド時代のデータ活用基盤!最新動向と応用を徹底解説」の登壇資料です。
Sagara
October 12, 2023
Tweet
Share
More Decks by Sagara
See All by Sagara
「コードでデータ分析に関わる指標を管理できる ”Semantic Layer”、dbtとLookerで何が違うの?」あなたのこの疑問、解消します
sagara
7
8k
最短1日で構築!?データドリブンな文化をプッシュするクラスメソッドのModern Data Stack
sagara
0
1.1k
dbtと仲良し!クラスメソッドのModern Data Stack
sagara
3
2.8k
データエンジニアを助けてくれるFivetranとSnowflakeの仕様&機能のご紹介
sagara
1
4.5k
大学で情報工学を専攻しつつ、その道を一度外れてまた情報工学の分野に戻ってきた男が語る「データを用いた仕事の面白さ」
sagara
0
790
「データ活用」に注力できるデータ基盤を構築しませんか?~クラスメソッドのModern Data Stackのご紹介~
sagara
2
2.9k
dbt×Fivetran×SnowflakeによるModern Data Stackのご紹介
sagara
1
3.6k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第1回_投影資料
sagara
0
1.3k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第2回_投影資料
sagara
0
1.1k
Other Decks in Technology
See All in Technology
[NIKKEI Tech Talk] KDDI/KAG Scrum & Community for Engineering Training
curanosuke
2
220
公共領域から学ぶ クラウド移行についてエンジニアが意識していること
kawakawa2222
0
140
[2024最新版]AWS Control Towerを使ったセキュアなマルチアカウント環境の作り方
hiashisan
0
270
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
開発生産性をむしろ向上させる セキュリティパートナーの作り方 / Dev Productivity Con 2024
flatt_security
0
360
[NIKKEI Tech Talk]Bias for Action!! 実践から学ぶための仕組とコミュニティ / Community for Practice and Learning
kanamasa
0
270
【基調講演】変える、今ここから ― IoTとAIで紡ぐ未来
soracom
PRO
0
320
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
yoshikiiida
13
3.6k
Azure AI ことはじめ
tsubakimoto_s
0
130
Luupの開発組織におけるインシデントマネジメントの変遷 ver.RoadtoSRENEXT2024
grimoh
1
270
AI研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
130
コミュニティサービスに「あなたへ」フィードを リリースするまでの試行錯誤
takapy
1
150
Featured
See All Featured
XXLCSS - How to scale CSS and keep your sanity
sugarenia
245
1.2M
Build The Right Thing And Hit Your Dates
maggiecrowley
28
2.2k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
Ruby is Unlike a Banana
tanoku
96
10k
Design by the Numbers
sachag
277
18k
Statistics for Hackers
jakevdp
792
220k
For a Future-Friendly Web
brad_frost
173
9.2k
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
19k
What the flash - Photography Introduction
edds
65
11k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
353
29k
A designer walks into a library…
pauljervisheath
201
24k
Transcript
データ活用の最前線! Modern Data Stack界隈で 注目されている4つの分野 1 2023/10/12 アライアンス事業部 相樂悟
2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス事業部
役割 Modern Data Stackソリューション テックリード (各種案件対応・新技術調査&検証・メンバーフォロー)
3 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
4 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
5 そもそも「データ基盤」とは データの取り込み~蓄積~活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします 社内のデータ データの蓄積 (データウェアハウス) マーケティング レポーティング 統計分析・機械学習
データの 取り込み 加工 加工
6 「Modern Data Stack」とは 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方や該当するサービス群を指す言葉 引用元:Who’s Who in the
Modern Data Stack Ecosystem (Spring 2022) 引用元:Understanding the Modern Data Stack
7 Modern Data Stack 導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短1日でデータの取り込みが出来る -
いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い 「データを分析・活用した、ビジネスへの貢献」に 注力できるデータ基盤を構築できます
8 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
9 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
10 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
11 Reverse ETLとは データウェアハウス上のデータを、運用しているシステムやSaaSに 連携するプロセスのこと 引用元:What is Reverse ETL? The
Definitive Guide
12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例:CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例:マーケティングのサービスに、配信対象者のデータを同期 更に、HightouchやCensusなどのReverse ETLに特化した製品ならば…
- 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK
13 Reverse ETLの事例 その1 各顧客と繋がっているSlack、またはメールで、 契約頂いている製品の利用状況のデータを自動送信 (SaaSの売買プラットフォームを運営するVendr社の事例) 引用元:Vendr Automates Customer Touchpoints
With dbt, Hightouch & Snowflake
14 Reverse ETLの事例 その2 イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築 (イギリスの車売買サイトを運営するAuto Trader社の事例)
引用元:Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
15 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
16 Data Applicationとは データを活用した、ユーザーに対して新しい気づきを与えたり、 アクションを促すための仕組みを持ったアプリケーション 引用元:What Is a Data Application?
17 Data Applicationの昨今のトレンド 「Streamlit」というPythonのみでアプリケーションを構築できる フレームワークが注目を集めている なぜStreamlitが注目を集めているか? - 2022年3月: Snowflake社がStreamlit買収 -
2023年6月: 「データの外部共有」に 強みを持っていたSnowflakeが、 「アプリケーションの外部共有」 機能をリリース (UDF、Procedure、Streamlitアプリが共有可能) 引用元:How to build a real-time live dashboard with Streamlit
18 Streamlitを用いたData Applicationの事例 その1 「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、 行うべき推奨事項(クエリ最適化)などを提案してくれるアプリ 引用元:Snowflake Marketplace CostNomics
19 Streamlitを用いたData Applicationの事例 その2 「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた ダミーデータを自動生成するアプリ 引用元:ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
20 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを 生成すること 現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、
質問するだけでインターネット上の情報からAIが検索した情報を返す (Bing AIなど) - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考:RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
22 Generative AIのデータ基盤における事例 その1 BIツールから自然言語で問い合わせを行い、自動でダッシュボードを 生成する機能(Tableau、Power BI、QuickSight、Looker Studioが発表) 引用元:Amazon QuickSight の
Generative BI 機能を発表
23 Generative AIのデータ基盤における事例 その2 Reverse ETL × Streamlit × Generative AIの組み合わせで、
Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成&配信 引用元:How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
24 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
25 Semantic Layerとは データを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る (対象製品例:Looker、dbt Semantic Layer、Cube、など)
26 Semantic Layerのメリット 組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上
27 Semantic Layerの事例 その1 Lookerで定義した指標を、API経由で参照しアプリケーション上に表示 (例:社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる)
28 Semantic Layerの事例 その2 OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、 より精度の高い結果を返すことが可能に 引用元:Introducing the LangChain integration
29 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
30 まとめ Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data
Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析して ダッシュボード作って…だけの時代は終わりました!
31 最後に 「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール 何かしらのデータがある環境でビジネスを行っているはずです
データは「分析」や「AI」だけに使われるものではないため、 いかにデータを活用してビジネスに役立てるか考えていきましょう!
32