Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
Search
Sagara
October 12, 2023
Technology
1
1.6k
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
2023/10/12に開催された「クラウド時代のデータ活用基盤!最新動向と応用を徹底解説」の登壇資料です。
Sagara
October 12, 2023
Tweet
Share
More Decks by Sagara
See All by Sagara
「コードでデータ分析に関わる指標を管理できる ”Semantic Layer”、dbtとLookerで何が違うの?」あなたのこの疑問、解消します
sagara
7
8.8k
最短1日で構築!?データドリブンな文化をプッシュするクラスメソッドのModern Data Stack
sagara
0
1.2k
dbtと仲良し!クラスメソッドのModern Data Stack
sagara
3
3k
データエンジニアを助けてくれるFivetranとSnowflakeの仕様&機能のご紹介
sagara
1
5.4k
大学で情報工学を専攻しつつ、その道を一度外れてまた情報工学の分野に戻ってきた男が語る「データを用いた仕事の面白さ」
sagara
0
890
「データ活用」に注力できるデータ基盤を構築しませんか?~クラスメソッドのModern Data Stackのご紹介~
sagara
2
3k
dbt×Fivetran×SnowflakeによるModern Data Stackのご紹介
sagara
1
4k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第1回_投影資料
sagara
0
1.4k
DX実現の第一歩!クラウド技術を活かしたデータ分析、成功のヒント_第2回_投影資料
sagara
0
1.2k
Other Decks in Technology
See All in Technology
LINEヤフーにおける超大規模プラットフォーム実現への挑戦と学び / Challenges and Lessons in Building an Ultra-Large-Scale Platform at LY Corporation
hhiroshell
3
1k
今はまだ小さい東京ガス内製開発チームが、これからもKubernetesと共に歩み続けるために
yussugi
3
560
開志専門職大学特別講義 2024 オープニング
1ftseabass
PRO
0
220
歴史あるRuby on Railsでデッドコードを見つけ、 消す方法@yabaibuki.dev #3
ayumu838
0
1.7k
GAS × Discord bot × Gemini で作ったさいきょーの情報収集ツール
ysknsid25
1
590
システムリプレイスプロジェクト発足から7年、改めてコスト最適化に向き合う / replace and cost optimization
takumi
1
370
「今までで一番学びになった瞬間」発表 LT - Shinjuku.rb #96
kozy4324
0
140
マルチプロダクト、マルチデータ基盤での Looker活用事例 〜BQじゃなくてもLookerはいいぞ〜
gappy50
0
130
.NET のUnified AI Building Blocks 入門...!
okazuki
0
170
Nihonbashi Test Talk #3_WebDriver BiDiと最新の実装状況 / WebDriver BiDi latest status
takeyaqa
1
120
品質管理チームのEMとして大事にしていること / QA EM
nihonbuson
0
400
突き破って学ぶコンテナセキュリティ/container-breakout-cncj-lt
mochizuki875
6
980
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
Thoughts on Productivity
jonyablonski
67
4.3k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
6
480
Documentation Writing (for coders)
carmenintech
65
4.5k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Optimizing for Happiness
mojombo
376
70k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Designing Experiences People Love
moore
138
23k
Transcript
データ活用の最前線! Modern Data Stack界隈で 注目されている4つの分野 1 2023/10/12 アライアンス事業部 相樂悟
2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス事業部
役割 Modern Data Stackソリューション テックリード (各種案件対応・新技術調査&検証・メンバーフォロー)
3 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
4 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
5 そもそも「データ基盤」とは データの取り込み~蓄積~活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします 社内のデータ データの蓄積 (データウェアハウス) マーケティング レポーティング 統計分析・機械学習
データの 取り込み 加工 加工
6 「Modern Data Stack」とは 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方や該当するサービス群を指す言葉 引用元:Who’s Who in the
Modern Data Stack Ecosystem (Spring 2022) 引用元:Understanding the Modern Data Stack
7 Modern Data Stack 導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短1日でデータの取り込みが出来る -
いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い 「データを分析・活用した、ビジネスへの貢献」に 注力できるデータ基盤を構築できます
8 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
9 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
10 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
11 Reverse ETLとは データウェアハウス上のデータを、運用しているシステムやSaaSに 連携するプロセスのこと 引用元:What is Reverse ETL? The
Definitive Guide
12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例:CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例:マーケティングのサービスに、配信対象者のデータを同期 更に、HightouchやCensusなどのReverse ETLに特化した製品ならば…
- 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK
13 Reverse ETLの事例 その1 各顧客と繋がっているSlack、またはメールで、 契約頂いている製品の利用状況のデータを自動送信 (SaaSの売買プラットフォームを運営するVendr社の事例) 引用元:Vendr Automates Customer Touchpoints
With dbt, Hightouch & Snowflake
14 Reverse ETLの事例 その2 イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築 (イギリスの車売買サイトを運営するAuto Trader社の事例)
引用元:Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
15 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
16 Data Applicationとは データを活用した、ユーザーに対して新しい気づきを与えたり、 アクションを促すための仕組みを持ったアプリケーション 引用元:What Is a Data Application?
17 Data Applicationの昨今のトレンド 「Streamlit」というPythonのみでアプリケーションを構築できる フレームワークが注目を集めている なぜStreamlitが注目を集めているか? - 2022年3月: Snowflake社がStreamlit買収 -
2023年6月: 「データの外部共有」に 強みを持っていたSnowflakeが、 「アプリケーションの外部共有」 機能をリリース (UDF、Procedure、Streamlitアプリが共有可能) 引用元:How to build a real-time live dashboard with Streamlit
18 Streamlitを用いたData Applicationの事例 その1 「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、 行うべき推奨事項(クエリ最適化)などを提案してくれるアプリ 引用元:Snowflake Marketplace CostNomics
19 Streamlitを用いたData Applicationの事例 その2 「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた ダミーデータを自動生成するアプリ 引用元:ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
20 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを 生成すること 現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、
質問するだけでインターネット上の情報からAIが検索した情報を返す (Bing AIなど) - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考:RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
22 Generative AIのデータ基盤における事例 その1 BIツールから自然言語で問い合わせを行い、自動でダッシュボードを 生成する機能(Tableau、Power BI、QuickSight、Looker Studioが発表) 引用元:Amazon QuickSight の
Generative BI 機能を発表
23 Generative AIのデータ基盤における事例 その2 Reverse ETL × Streamlit × Generative AIの組み合わせで、
Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成&配信 引用元:How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
24 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
25 Semantic Layerとは データを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る (対象製品例:Looker、dbt Semantic Layer、Cube、など)
26 Semantic Layerのメリット 組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上
27 Semantic Layerの事例 その1 Lookerで定義した指標を、API経由で参照しアプリケーション上に表示 (例:社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる)
28 Semantic Layerの事例 その2 OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、 より精度の高い結果を返すことが可能に 引用元:Introducing the LangChain integration
29 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
30 まとめ Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data
Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析して ダッシュボード作って…だけの時代は終わりました!
31 最後に 「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール 何かしらのデータがある環境でビジネスを行っているはずです
データは「分析」や「AI」だけに使われるものではないため、 いかにデータを活用してビジネスに役立てるか考えていきましょう!
32