Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
Search
Sagara
October 12, 2023
Technology
1
1.5k
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
2023/10/12に開催された「クラウド時代のデータ活用基盤!最新動向と応用を徹底解説」の登壇資料です。
Sagara
October 12, 2023
Tweet
Share
More Decks by Sagara
See All by Sagara
「コードでデータ分析に関わる指標を管理できる ”Semantic Layer”、dbtとLookerで何が違うの?」あなたのこの疑問、解消します
sagara
7
8.7k
最短1日で構築!?データドリブンな文化をプッシュするクラスメソッドのModern Data Stack
sagara
0
1.2k
dbtと仲良し!クラスメソッドのModern Data Stack
sagara
3
3k
データエンジニアを助けてくれるFivetranとSnowflakeの仕様&機能のご紹介
sagara
1
5.2k
大学で情報工学を専攻しつつ、その道を一度外れてまた情報工学の分野に戻ってきた男が語る「データを用いた仕事の面白さ」
sagara
0
870
「データ活用」に注力できるデータ基盤を構築しませんか?~クラスメソッドのModern Data Stackのご紹介~
sagara
2
3k
dbt×Fivetran×SnowflakeによるModern Data Stackのご紹介
sagara
1
4k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第1回_投影資料
sagara
0
1.4k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第2回_投影資料
sagara
0
1.2k
Other Decks in Technology
See All in Technology
フロントエンド メタフレームワーク 選定の際に考えたこと
yuppeeng
0
590
OCI Data Integration技術情報 / ocidi_technical_jp
oracle4engineer
PRO
1
2.6k
ジョブマッチングサービスにおける相互推薦システムの応用事例と課題
hakubishin3
3
620
"君は見ているが観察していない"で考えるインシデントマネジメント
grimoh
4
1k
DatabricksにおけるLLMOpsのベストプラクティス
taka_aki
4
1.6k
20241108_CS_LLMMT
shigashiyama
0
250
Deno+JSRでパッケージを作って公開する
askua
0
120
エンジニアが一生困らない ドキュメント作成の基本
naohiro_nakata
2
140
AWS⼊社という選択肢、⾒えていますか
iwamot
2
1.1k
State of Open Source Web Mapping Libraries
dayjournal
0
200
RustとWebAssemblyを使って高速な画像処理をWebアプリで実行しよう
rebonire626
0
110
GraphRAGを用いたLLMによるパーソナライズド推薦の生成
naveed92
0
190
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
133
8.9k
Gamification - CAS2011
davidbonilla
80
5k
How GitHub (no longer) Works
holman
310
140k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
38
1.8k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Put a Button on it: Removing Barriers to Going Fast.
kastner
59
3.5k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Measuring & Analyzing Core Web Vitals
bluesmoon
3
76
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Scaling GitHub
holman
458
140k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
8.2k
Transcript
データ活用の最前線! Modern Data Stack界隈で 注目されている4つの分野 1 2023/10/12 アライアンス事業部 相樂悟
2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス事業部
役割 Modern Data Stackソリューション テックリード (各種案件対応・新技術調査&検証・メンバーフォロー)
3 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
4 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
5 そもそも「データ基盤」とは データの取り込み~蓄積~活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします 社内のデータ データの蓄積 (データウェアハウス) マーケティング レポーティング 統計分析・機械学習
データの 取り込み 加工 加工
6 「Modern Data Stack」とは 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方や該当するサービス群を指す言葉 引用元:Who’s Who in the
Modern Data Stack Ecosystem (Spring 2022) 引用元:Understanding the Modern Data Stack
7 Modern Data Stack 導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短1日でデータの取り込みが出来る -
いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い 「データを分析・活用した、ビジネスへの貢献」に 注力できるデータ基盤を構築できます
8 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
9 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
10 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
11 Reverse ETLとは データウェアハウス上のデータを、運用しているシステムやSaaSに 連携するプロセスのこと 引用元:What is Reverse ETL? The
Definitive Guide
12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例:CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例:マーケティングのサービスに、配信対象者のデータを同期 更に、HightouchやCensusなどのReverse ETLに特化した製品ならば…
- 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK
13 Reverse ETLの事例 その1 各顧客と繋がっているSlack、またはメールで、 契約頂いている製品の利用状況のデータを自動送信 (SaaSの売買プラットフォームを運営するVendr社の事例) 引用元:Vendr Automates Customer Touchpoints
With dbt, Hightouch & Snowflake
14 Reverse ETLの事例 その2 イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築 (イギリスの車売買サイトを運営するAuto Trader社の事例)
引用元:Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
15 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
16 Data Applicationとは データを活用した、ユーザーに対して新しい気づきを与えたり、 アクションを促すための仕組みを持ったアプリケーション 引用元:What Is a Data Application?
17 Data Applicationの昨今のトレンド 「Streamlit」というPythonのみでアプリケーションを構築できる フレームワークが注目を集めている なぜStreamlitが注目を集めているか? - 2022年3月: Snowflake社がStreamlit買収 -
2023年6月: 「データの外部共有」に 強みを持っていたSnowflakeが、 「アプリケーションの外部共有」 機能をリリース (UDF、Procedure、Streamlitアプリが共有可能) 引用元:How to build a real-time live dashboard with Streamlit
18 Streamlitを用いたData Applicationの事例 その1 「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、 行うべき推奨事項(クエリ最適化)などを提案してくれるアプリ 引用元:Snowflake Marketplace CostNomics
19 Streamlitを用いたData Applicationの事例 その2 「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた ダミーデータを自動生成するアプリ 引用元:ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
20 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを 生成すること 現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、
質問するだけでインターネット上の情報からAIが検索した情報を返す (Bing AIなど) - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考:RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
22 Generative AIのデータ基盤における事例 その1 BIツールから自然言語で問い合わせを行い、自動でダッシュボードを 生成する機能(Tableau、Power BI、QuickSight、Looker Studioが発表) 引用元:Amazon QuickSight の
Generative BI 機能を発表
23 Generative AIのデータ基盤における事例 その2 Reverse ETL × Streamlit × Generative AIの組み合わせで、
Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成&配信 引用元:How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
24 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
25 Semantic Layerとは データを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る (対象製品例:Looker、dbt Semantic Layer、Cube、など)
26 Semantic Layerのメリット 組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上
27 Semantic Layerの事例 その1 Lookerで定義した指標を、API経由で参照しアプリケーション上に表示 (例:社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる)
28 Semantic Layerの事例 その2 OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、 より精度の高い結果を返すことが可能に 引用元:Introducing the LangChain integration
29 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
30 まとめ Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data
Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析して ダッシュボード作って…だけの時代は終わりました!
31 最後に 「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール 何かしらのデータがある環境でビジネスを行っているはずです
データは「分析」や「AI」だけに使われるものではないため、 いかにデータを活用してビジネスに役立てるか考えていきましょう!
32