データ活用の最前線！Modern Data Stack界隈で注目されている4つの分野

by Sagara

Slide 1

Slide 1 text

データ活用の最前線！  Modern Data Stack界隈で  注目されている4つの分野  1 2023/10/12  アライアンス事業部  相樂悟 

Slide 2

Slide 2 text

2 自己紹介氏名相樂悟 (サガラサトシ) 所属クラスメソッド株式会社アライアンス事業部役割 Modern Data Stackソリューション　テックリード（各種案件対応・新技術調査＆検証・メンバーフォロー）

Slide 3

Slide 3 text

3 アジェンダ１．Modern Data Stackとは　２．Modern Data Stack界隈で特に注目されている4つの分野３．最後に

Slide 4

Slide 4 text

4 アジェンダ１．Modern Data Stackとは　２．Modern Data Stack界隈で特に注目されている4つの分野３．最後に

Slide 5

Slide 5 text

5 そもそも「データ基盤」とはデータの取り込み～蓄積～活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします社内のデータデータの蓄積（データウェアハウス）マーケティングレポーティング統計分析・機械学習データの取り込み加工加工

Slide 6

Slide 6 text

6 「Modern Data Stack」とは最新のクラウドネイティブの技術やサービスを組み合わせたデータ基盤、あるいはその考え方や該当するサービス群を指す言葉引用元：Who’s Who in the Modern Data Stack Ecosystem (Spring 2022) 引用元：Understanding the Modern Data Stack

Slide 7

Slide 7 text

7 Modern Data Stack　導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短１日でデータの取り込みが出来る - いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い「データを分析・活用した、ビジネスへの貢献」に注力できるデータ基盤を構築できます

Slide 8

Slide 8 text

8 アジェンダ１．Modern Data Stackとは　２．Modern Data Stack界隈で特に注目されている4つの分野３．最後に

Slide 9

Slide 9 text

9 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer

Slide 10

Slide 10 text

10 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer

Slide 11

Slide 11 text

11 Reverse ETLとはデータウェアハウス上のデータを、運用しているシステムやSaaSに連携するプロセスのこと引用元：What is Reverse ETL? The Definitive Guide

Slide 12

Slide 12 text

12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例：CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例：マーケティングのサービスに、配信対象者のデータを同期更に、HightouchやCensusなどのReverse ETLに特化した製品ならば… - 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK

Slide 13

Slide 13 text

13 Reverse ETLの事例　その１各顧客と繋がっているSlack、またはメールで、契約頂いている製品の利用状況のデータを自動送信（SaaSの売買プラットフォームを運営するVendr社の事例）引用元：Vendr Automates Customer Touchpoints With dbt, Hightouch & Snowflake

Slide 14

Slide 14 text

14 Reverse ETLの事例　その２イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築（イギリスの車売買サイトを運営するAuto Trader社の事例）引用元：Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%

Slide 15

Slide 15 text

15 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer

Slide 16

Slide 16 text

16 Data Applicationとはデータを活用した、ユーザーに対して新しい気づきを与えたり、アクションを促すための仕組みを持ったアプリケーション引用元：What Is a Data Application?

Slide 17

Slide 17 text

17 Data Applicationの昨今のトレンド「Streamlit」というPythonのみでアプリケーションを構築できるフレームワークが注目を集めているなぜStreamlitが注目を集めているか？ - 2022年3月： Snowflake社がStreamlit買収 - 2023年6月：「データの外部共有」に強みを持っていたSnowflakeが、「アプリケーションの外部共有」機能をリリース（UDF、Procedure、Streamlitアプリが共有可能）引用元：How to build a real-time live dashboard with Streamlit

Slide 18

Slide 18 text

18 Streamlitを用いたData Applicationの事例　その１「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、行うべき推奨事項（クエリ最適化）などを提案してくれるアプリ引用元：Snowflake Marketplace CostNomics

Slide 19

Slide 19 text

19 Streamlitを用いたData Applicationの事例　その２「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じたダミーデータを自動生成するアプリ引用元：ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた

Slide 20

Slide 20 text

20 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer

Slide 21

Slide 21 text

21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを生成すること現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、質問するだけでインターネット上の情報からAIが検索した情報を返す（Bing AIなど） - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考：RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた

Slide 22

Slide 22 text

22 Generative AIのデータ基盤における事例　その１ BIツールから自然言語で問い合わせを行い、自動でダッシュボードを生成する機能（Tableau、Power BI、QuickSight、Looker Studioが発表）引用元：Amazon QuickSight の Generative BI 機能を発表

Slide 23

Slide 23 text

23 Generative AIのデータ基盤における事例　その２ Reverse ETL × Streamlit × Generative AIの組み合わせで、 Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成＆配信引用元：How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch

Slide 24

Slide 24 text

24 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer

Slide 25

Slide 25 text

25 Semantic Layerとはデータを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る（対象製品例：Looker、dbt Semantic Layer、Cube、など）

Slide 26

Slide 26 text

26 Semantic Layerのメリット組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上

Slide 27

Slide 27 text

27 Semantic Layerの事例　その１ Lookerで定義した指標を、API経由で参照しアプリケーション上に表示（例：社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる）

Slide 28

Slide 28 text

28 Semantic Layerの事例　その２ OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、より精度の高い結果を返すことが可能に引用元：Introducing the LangChain integration

Slide 29

Slide 29 text

29 アジェンダ１．Modern Data Stackとは　２．Modern Data Stack界隈で特に注目されている4つの分野３．最後に

Slide 30

Slide 30 text

30 まとめ Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析してダッシュボード作って…だけの時代は終わりました！

Slide 31

Slide 31 text

31 最後に「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール何かしらのデータがある環境でビジネスを行っているはずですデータは「分析」や「AI」だけに使われるものではないため、いかにデータを活用してビジネスに役立てるか考えていきましょう！