Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
Search
Sagara
October 12, 2023
Technology
1
1.9k
データ活用の最前線!Modern Data Stack界隈で注目されている4つの分野
2023/10/12に開催された「クラウド時代のデータ活用基盤!最新動向と応用を徹底解説」の登壇資料です。
Sagara
October 12, 2023
Tweet
Share
More Decks by Sagara
See All by Sagara
Snowflake×dbtを用いたテレシーのデータ基盤のこれまでとこれから
sagara
0
130
dbt Cloudの新機能を紹介!データエンジニアリングの民主化:GUIで操作、SQLで管理する新時代のdbt Cloud
sagara
1
430
Tokyo dbt Meetup #13 dbtと連携するBI製品&機能ざっくり紹介
sagara
0
810
Snowflakeの開発・運用コストをApache Icebergで効率化しよう!~機能と活用例のご紹介~
sagara
4
1.9k
2024年のModern Data Stackを振り返ろう~分野別の目玉アップデート情報まとめ~
sagara
2
1.4k
「コードでデータ分析に関わる指標を管理できる ”Semantic Layer”、dbtとLookerで何が違うの?」あなたのこの疑問、解消します
sagara
8
11k
最短1日で構築!?データドリブンな文化をプッシュするクラスメソッドのModern Data Stack
sagara
1
1.5k
dbtと仲良し!クラスメソッドのModern Data Stack
sagara
3
3.4k
データエンジニアを助けてくれるFivetranとSnowflakeの仕様&機能のご紹介
sagara
1
7.7k
Other Decks in Technology
See All in Technology
職種の壁を溶かして開発サイクルを高速に回す~情報透明性と職種越境から考えるAIフレンドリーな職種間連携~
daitasu
0
190
「どこから読む?」コードとカルチャーに最速で馴染むための実践ガイド
zozotech
PRO
0
570
AI時代を生き抜くエンジニアキャリアの築き方 (AI-Native 時代、エンジニアという道は 「最大の挑戦の場」となる) / Building an Engineering Career to Thrive in the Age of AI (In the AI-Native Era, the Path of Engineering Becomes the Ultimate Arena of Challenge)
jeongjaesoon
0
260
株式会社ログラス - 会社説明資料【エンジニア】/ Loglass Engineer
loglass2019
4
65k
S3アクセス制御の設計ポイント
tommy0124
3
210
Platform開発が先行する Platform Engineeringの違和感
kintotechdev
4
590
AIエージェント開発用SDKとローカルLLMをLINE Botと組み合わせてみた / LINEを使ったLT大会 #14
you
PRO
0
130
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
10
75k
組織を巻き込む大規模プラットフォーム移行戦略 〜50+サービスのマルチリージョン・マルチプロダクト化で学んだステークホルダー協働の実践〜 / Platform migration strategy engaging all stakeholders
toshi0607
2
200
LLMを搭載したプロダクトの品質保証の模索と学び
qa
1
1.1k
JTCにおける内製×スクラム開発への挑戦〜内製化率95%達成の舞台裏/JTC's challenge of in-house development with Scrum
aeonpeople
0
270
RSCの時代にReactとフレームワークの境界を探る
uhyo
11
3.5k
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Building Adaptive Systems
keathley
43
2.7k
Why Our Code Smells
bkeepers
PRO
339
57k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Visualization
eitanlees
148
16k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
The Cost Of JavaScript in 2023
addyosmani
53
8.9k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
Transcript
データ活用の最前線! Modern Data Stack界隈で 注目されている4つの分野 1 2023/10/12 アライアンス事業部 相樂悟
2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス事業部
役割 Modern Data Stackソリューション テックリード (各種案件対応・新技術調査&検証・メンバーフォロー)
3 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
4 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
5 そもそも「データ基盤」とは データの取り込み~蓄積~活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします 社内のデータ データの蓄積 (データウェアハウス) マーケティング レポーティング 統計分析・機械学習
データの 取り込み 加工 加工
6 「Modern Data Stack」とは 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方や該当するサービス群を指す言葉 引用元:Who’s Who in the
Modern Data Stack Ecosystem (Spring 2022) 引用元:Understanding the Modern Data Stack
7 Modern Data Stack 導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短1日でデータの取り込みが出来る -
いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い 「データを分析・活用した、ビジネスへの貢献」に 注力できるデータ基盤を構築できます
8 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
9 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
10 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
11 Reverse ETLとは データウェアハウス上のデータを、運用しているシステムやSaaSに 連携するプロセスのこと 引用元:What is Reverse ETL? The
Definitive Guide
12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例:CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例:マーケティングのサービスに、配信対象者のデータを同期 更に、HightouchやCensusなどのReverse ETLに特化した製品ならば…
- 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK
13 Reverse ETLの事例 その1 各顧客と繋がっているSlack、またはメールで、 契約頂いている製品の利用状況のデータを自動送信 (SaaSの売買プラットフォームを運営するVendr社の事例) 引用元:Vendr Automates Customer Touchpoints
With dbt, Hightouch & Snowflake
14 Reverse ETLの事例 その2 イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築 (イギリスの車売買サイトを運営するAuto Trader社の事例)
引用元:Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
15 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
16 Data Applicationとは データを活用した、ユーザーに対して新しい気づきを与えたり、 アクションを促すための仕組みを持ったアプリケーション 引用元:What Is a Data Application?
17 Data Applicationの昨今のトレンド 「Streamlit」というPythonのみでアプリケーションを構築できる フレームワークが注目を集めている なぜStreamlitが注目を集めているか? - 2022年3月: Snowflake社がStreamlit買収 -
2023年6月: 「データの外部共有」に 強みを持っていたSnowflakeが、 「アプリケーションの外部共有」 機能をリリース (UDF、Procedure、Streamlitアプリが共有可能) 引用元:How to build a real-time live dashboard with Streamlit
18 Streamlitを用いたData Applicationの事例 その1 「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、 行うべき推奨事項(クエリ最適化)などを提案してくれるアプリ 引用元:Snowflake Marketplace CostNomics
19 Streamlitを用いたData Applicationの事例 その2 「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた ダミーデータを自動生成するアプリ 引用元:ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
20 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを 生成すること 現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、
質問するだけでインターネット上の情報からAIが検索した情報を返す (Bing AIなど) - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考:RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
22 Generative AIのデータ基盤における事例 その1 BIツールから自然言語で問い合わせを行い、自動でダッシュボードを 生成する機能(Tableau、Power BI、QuickSight、Looker Studioが発表) 引用元:Amazon QuickSight の
Generative BI 機能を発表
23 Generative AIのデータ基盤における事例 その2 Reverse ETL × Streamlit × Generative AIの組み合わせで、
Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成&配信 引用元:How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
24 Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data Application
- Generative AI - Semantic Layer
25 Semantic Layerとは データを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る (対象製品例:Looker、dbt Semantic Layer、Cube、など)
26 Semantic Layerのメリット 組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上
27 Semantic Layerの事例 その1 Lookerで定義した指標を、API経由で参照しアプリケーション上に表示 (例:社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる)
28 Semantic Layerの事例 その2 OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、 より精度の高い結果を返すことが可能に 引用元:Introducing the LangChain integration
29 アジェンダ 1.Modern Data Stackとは 2.Modern Data Stack界隈で特に注目されている4つの分野 3.最後に
30 まとめ Modern Data Stack界隈で特に注目されている4つの分野 - Reverse ETL - Data
Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析して ダッシュボード作って…だけの時代は終わりました!
31 最後に 「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール 何かしらのデータがある環境でビジネスを行っているはずです
データは「分析」や「AI」だけに使われるものではないため、 いかにデータを活用してビジネスに役立てるか考えていきましょう!
32