データ活用の最前線！Modern Data Stack界隈で注目されている4つの分野

2023/10/12に開催された「クラウド時代のデータ活用基盤！最新動向と応用を徹底解説」の登壇資料です。

Transcript

1. データ活用の最前線！
 Modern Data Stack界隈で
 注目されている4つの分野
 1 2023/10/12
 アライアンス事業部
 相樂悟

2. 2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス事業部 役割 Modern Data Stackソリューション　テックリード （各種案件対応・新技術調査＆検証・メンバーフォロー）
3. 3 アジェンダ １．Modern Data Stackとは 　 ２．Modern Data Stack界隈で特に注目されている4つの分野 ３．最後に
4. 4 アジェンダ １．Modern Data Stackとは 　 ２．Modern Data Stack界隈で特に注目されている4つの分野 ３．最後に
5. 5 そもそも「データ基盤」とは データの取り込み～蓄積～活用まで一通り行える基盤のこと ※データ分析基盤・データ活用基盤とも呼ばれたりします 社内のデータ データの蓄積 （データウェアハウス） マーケティング レポーティング 統計分析・機械学習 データの 取り込み 加工 加工
6. 6 「Modern Data Stack」とは 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方や該当するサービス群を指す言葉 引用元：Who’s Who in the Modern Data Stack Ecosystem (Spring 2022) 引用元：Understanding the Modern Data Stack
7. 7 Modern Data Stack　導入メリット Modern Data Stackを用いたデータ基盤を構築することで… - 実装工数が短い、最短１日でデータの取り込みが出来る - いかなるデータ量・リクエスト量にも基本的に対応可能 - SaaS主体のため、サーバー管理やソフトのバージョン管理から開放 - 各サービス間の連携機能が豊富なことが多い 「データを分析・活用した、ビジネスへの貢献」に 注力できるデータ基盤を構築できます
8. 8 アジェンダ １．Modern Data Stackとは 　 ２．Modern Data Stack界隈で特に注目されている4つの分野 ３．最後に
9. 9 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer
10. 10 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer
11. 11 Reverse ETLとは データウェアハウス上のデータを、運用しているシステムやSaaSに 連携するプロセスのこと 引用元：What is Reverse ETL? The Definitive Guide
12. 12 Reverse ETLのメリット DWHに溜まったデータを分析用途以外に活用できる - 例：CRMのサービスに、DWHで名寄せなど行ったデータを同期 - 例：マーケティングのサービスに、配信対象者のデータを同期 更に、HightouchやCensusなどのReverse ETLに特化した製品ならば… - 連携先のAPIを叩くプログラムの開発やメンテナンスから開放 - 前回連携時からの差分データのみ、連携してくれる - GUIベースの操作だけでOK
13. 13 Reverse ETLの事例　その１ 各顧客と繋がっているSlack、またはメールで、 契約頂いている製品の利用状況のデータを自動送信 （SaaSの売買プラットフォームを運営するVendr社の事例） 引用元：Vendr Automates Customer Touchpoints With dbt, Hightouch & Snowflake
14. 14 Reverse ETLの事例　その２ イベント収集・DWH・Reverse ETL・MAツールで Customer Data Platformを構築 （イギリスの車売買サイトを運営するAuto Trader社の事例） 引用元：Auto Trader Builds a Composable CDP and Increases Engagement for New Car Buyers by 20%
15. 15 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer
16. 16 Data Applicationとは データを活用した、ユーザーに対して新しい気づきを与えたり、 アクションを促すための仕組みを持ったアプリケーション 引用元：What Is a Data Application?
17. 17 Data Applicationの昨今のトレンド 「Streamlit」というPythonのみでアプリケーションを構築できる フレームワークが注目を集めている なぜStreamlitが注目を集めているか？ - 2022年3月： Snowflake社がStreamlit買収 - 2023年6月： 「データの外部共有」に 強みを持っていたSnowflakeが、 「アプリケーションの外部共有」 機能をリリース （UDF、Procedure、Streamlitアプリが共有可能） 引用元：How to build a real-time live dashboard with Streamlit
18. 18 Streamlitを用いたData Applicationの事例　その１ 「汎用的なデータに対する分析方法の提供」 Snowflakeの利用状況データに関する分析レポート機能に加え、 行うべき推奨事項（クエリ最適化）などを提案してくれるアプリ 引用元：Snowflake Marketplace CostNomics
19. 19 Streamlitを用いたData Applicationの事例　その２ 「データの生成・書き込み」 Streamlitのアプリ上で簡単な操作を行うだけで、設定に応じた ダミーデータを自動生成するアプリ 引用元：ダミーデータを生成できる Streamlitアプリ「FrostyGen」をStreamlit in Snowflakeで動かしてみた
20. 20 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer
21. 21 Generative AIとは AIを活用して、テキスト・画像・音楽・動画などの新しいコンテンツを 生成すること 現在の一般的な用途 - ChatGPTを用いて、依頼した内容のテキストを自動生成 - インターネット上のブラウザの検索インターフェースで、 質問するだけでインターネット上の情報からAIが検索した情報を返す （Bing AIなど） - 社内の文書情報を学習させ、Slack経由で社内情報について問合せ - 参考：RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた
22. 22 Generative AIのデータ基盤における事例　その１ BIツールから自然言語で問い合わせを行い、自動でダッシュボードを 生成する機能（Tableau、Power BI、QuickSight、Looker Studioが発表） 引用元：Amazon QuickSight の Generative BI 機能を発表
23. 23 Generative AIのデータ基盤における事例　その２ Reverse ETL × Streamlit × Generative AIの組み合わせで、 Streamlit上でOpenAIのAPIを叩き各顧客ごとのメールを自動生成＆配信 引用元：How to Generate Personalized Emails from your Snowflake CDP with ChatGPT, Snowpark, & Hightouch
24. 24 Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer
25. 25 Semantic Layerとは データを用いたビジネス指標の定義を一元管理するレイヤー - 統一された定義の元に、データ活用を行うことが出来る （対象製品例：Looker、dbt Semantic Layer、Cube、など）
26. 26 Semantic Layerのメリット 組織内のデータを用いるビジネス指標の定義を統制できる ⇛ データガバナンスの向上・アウトプット時の品質向上
27. 27 Semantic Layerの事例　その１ Lookerで定義した指標を、API経由で参照しアプリケーション上に表示 （例：社内・社外問わず、”ある顧客の売上”を同じ計算式で出せる）
28. 28 Semantic Layerの事例　その２ OpenAIのAPIからSemantic Layerで定義された情報を参照させることで、 より精度の高い結果を返すことが可能に 引用元：Introducing the LangChain integration
29. 29 アジェンダ １．Modern Data Stackとは 　 ２．Modern Data Stack界隈で特に注目されている4つの分野 ３．最後に
30. 30 まとめ Modern Data Stack界隈で特に注目されている４つの分野 - Reverse ETL - Data Application - Generative AI - Semantic Layer データウェアハウスにデータを溜めてBIツールで分析して ダッシュボード作って…だけの時代は終わりました！
31. 31 最後に 「データのないビジネス」は存在しない - 自社の売上や経費を管理する経理部門のデータ - 紙で管理している帳票や図面 - 会議の議事や音声、日常のメールのやり取り、スケジュール 何かしらのデータがある環境でビジネスを行っているはずです データは「分析」や「AI」だけに使われるものではないため、 いかにデータを活用してビジネスに役立てるか考えていきましょう！