「データ活用」に注力できるデータ基盤を構築しませんか？～クラスメソッドのModern Data Stackのご紹介～

by Sagara

Slide 1

Slide 1 text

「データ活用」に注力できる  データ基盤を構築しませんか？  ～クラスメソッドのModern Data Stackのご紹介～  2022/7/27  アライアンス統括部  相樂悟 

Slide 2

Slide 2 text

2 自己紹介氏名相樂悟 (サガラサトシ) 所属クラスメソッド株式会社アライアンス統括部主な担当モダンデータスタックのプロサービス・プリセールス

Slide 3

Slide 3 text

3 本セッションで「話す」こと・「クラスメソッドのModern Data Stack」の全体像・導入するメリット・各製品の導入フェーズ

Slide 4

Slide 4 text

4 本セッションで「話さない」こと・各製品の詳細＆デモンストレーションぜひ、弊社のブログやYouTubeも御覧ください！【ブログ】　　　　　　　　　　　【YouTube】・Fivetranの記事一覧　　　　　　・Fivetranの動画一覧・Snowflakeの記事一覧　　　　　・Snowflakeの動画一覧・dbtの記事一覧　　　　　　　　・dbtの動画一覧・Lookerの記事一覧　　　　　　・Lookerの動画一覧・Alteryxの記事一覧　　　　　　・Alteryxの動画一覧・Tableauの記事一覧　　　　　　・Tableau×Snowflakeのデモ

Slide 5

Slide 5 text

5 アジェンダ１．データ基盤の導入における課題２．クラスメソッドのModern Data Stack ・全体像・導入するメリット・各製品の導入フェーズ３．まとめ

Slide 6

Slide 6 text

6 アジェンダ１．データ基盤の導入における課題２．クラスメソッドのModern Data Stack ・全体像・導入するメリット・各製品の導入フェーズ３．まとめ

Slide 7

Slide 7 text

7 「データ活用」の重要性スマートフォンを始めとしたIT技術の発達により、「前例踏襲」のビジネスの進め方では対応できなくなってきている IT技術の発達により、データの総量が急激に増えているデータを活用したビジネスの推進が求められている引用元：総務省情報通信白書令和2年版引用元：総務省情報通信白書平成29年版

Slide 8

Slide 8 text

8 「データ活用」には「データ基盤」が必要各ステップにおいて、何かしらの製品導入や開発が必要社内のデータデータの蓄積（データウェアハウス）マーケティングレポーティング統計分析・機械学習データの取り込み加工加工

Slide 9

Slide 9 text

9 データ基盤導入における課題　一覧３つのパターンに分けてお話します・データ基盤を構築していない・オンプレミス環境に構築・自社開発ベースでクラウド環境に構築

Slide 10

Slide 10 text

10 データ基盤導入における課題　パターン１パターン１：データ基盤を構築していない ● 構成例 ○ 表計算ソフトなどを使用して、レポート作成・分析など、データに関わる業務の全てを行っている ● 課題 ○ ファイルごとにデータが分断され、正しいデータがわからない ○ ファイルが損失したら業務に多大な影響を及ぼすリスクがある ○ (PCスペックによるが)10万行超えると動作が重くなることが多い

Slide 11

Slide 11 text

11 データ基盤導入における課題　パターン２パターン２：オンプレミス環境で構築 ● 構築方法 ○ サーバーを自社調達し、ベンダーソフトをインストール ● 課題 ○ 運用要員が必要（数名～数十名） ○ すぐにスケールアップ・スケールアウト出来ないため、コンピュートリソースの管理運用に悩まされる ○ サーバー増築時の追加投資の判断が難しい（数百万～数千万円）

Slide 12

Slide 12 text

12 データ基盤導入における課題　パターン３パターン３：自社開発ベースでクラウド環境に構築 ● 構成方法 ○ DWHはクラウドサービスを使い、他はOSS主体で自社開発 ● 課題 ○ 自社開発のため、サーバー管理や導入したOSSのバージョン管理など、少し高めのエンジニアリングスキルが求められる ○ OSSに関しては何かトラブルが発生した時、サポートがないため自社内で解決をしないといけない

Slide 13

Slide 13 text

13 データ基盤導入における課題　クラスメソッドの提案 SaaS主体のデータ基盤はいかがですか？

Slide 14

Slide 14 text

14 アジェンダ１．データ基盤の導入における課題２．クラスメソッドのModern Data Stack ・全体像・導入するメリット・各製品の導入フェーズ３．まとめ

Slide 15

Slide 15 text

15 クラスメソッドのModern Data Stack　全体像データソース➟DWH の連携が、認証情報の設定だけで可能なツールスケーラビリティに優れ、外部共有などの機能もあるDWH ソフト開発の手法に則りデータ変換処理が開発出来るツール LookMLを用いた、指標の定義の統制に優れたBIツール直感的な操作で多様な表現が可能なBIツール GUI操作でデータクレンジング～予測分析まで行えるツール

Slide 16

Slide 16 text

16 （再掲）各製品の詳細についてぜひ、弊社のブログやYouTubeも御覧ください！【ブログ】　　　　　　　　　　　【YouTube】・Fivetranの記事一覧　　　　　　・Fivetranの動画一覧・Snowflakeの記事一覧　　　　　・Snowflakeの動画一覧・dbtの記事一覧　　　　　　　　・dbtの動画一覧・Lookerの記事一覧　　　　　　・Lookerの動画一覧・Alteryxの記事一覧　　　　　　・Alteryxの動画一覧・Tableauの記事一覧　　　　　　・Tableau×Snowflakeのデモ

Slide 17

Slide 17 text

17 アジェンダ１．データ基盤の導入における課題２．クラスメソッドのModern Data Stack ・全体像・導入するメリット・各製品の導入ステップ３．まとめ

Slide 18

Slide 18 text

18 クラスメソッドのModern Data Stack　導入メリット導入メリット、７つお話します・実装工数が短い、最短１日でデータの取り込みが出来る・いかなるデータ量・リクエスト量にも基本的に対応可能・コーディングは最低限、かつ効率的に実装可能・サーバー管理、ソフトウェアのバージョン管理からの開放・各サービス間の相性もバッチリ・デジタルマーケティングのサービスとの相性もバッチリ・サポートやプロサービスを受けられる

Slide 19

Slide 19 text

19 導入メリット　その１実装工数が短い、最短１日でデータの取り込みが出来る ● 自社開発の場合 ○ 数日での立ち上げは正直難しい ○ サーバー構成の設計、データ取り込み＆加工処理の設計、などを考えないといけない ● Fivetranが対応しているデータソースの場合 ○ Fivetran➟Snowflake➟Tableau/Lookerの構成であれば最短１日で ○ Fivetranが対応するデータソースの例：

Slide 20

Slide 20 text

20 導入メリット　その２いかなるデータ量・リクエスト量にも基本的に対応可能 ● SnowflakeをDWHとして採用すれば、コンピュートリソースの管理で悩むことはほぼない ● 対応する処理 ○ Fivetranによるデータ取り込み ○ dbtによる加工処理 ○ Looker/Tableauで発行されたクエリ dbt（XL×1） BIツール（M×4） Fivetran （L×2）処理を行うコンピュートリソースは用途別に分けられる

Slide 21

Slide 21 text

21 導入メリット　その３コーディングは最低限、かつ効率的に実装可能 ● データ収集 ○ Fivetranが対応するデータソースならばコーディングは不要 ● データ加工 ○ dbtならば、SQLやYAMLのコーディングはあるが、ソフト開発の手法に沿って体系的に加工ができる ○ Pythonなどのプログラミング言語は基本的に不要 ● 可視化 ○ Tableau：コーディングいらず ○ Looker：LookMLにより各指標に対してガバナンスを効かせられる

Slide 22

Slide 22 text

22 導入メリット　その４サーバー管理、ソフトウェアのバージョン管理からの開放 ● オンプレミスでの構築や自社開発の場合 ○ ホスティングしたサーバーの管理 ○ 導入したOSSやソフトウェアのアップデート ○ 脆弱性発覚時の対策 ● クラスメソッドのModern Data Stackの場合 ○ 基本SaaSのため、上述の保守運用の作業は不要

Slide 23

Slide 23 text

23 導入メリット　その５各サービス間の相性もバッチリ ● Fivetran × dbt ○ Fivetranからdbtの処理を実行できる機能がある ○ Fivetranで構成されたスキーマに沿ったdbt用のコードが一般公開されていて、すぐに分析可能なテーブルを構築可能 ○ 参考：Fivetran×dbtを紹介したブログ記事 ● Looker/Tableau × Snowflake ○ Snowflake上の一番小さいコンピュートリソースであっても、 LookerやTableauで6000万行規模のデータを分析可能 ○ 参考：Tableau×Snowflakeのデモ

Slide 24

Slide 24 text

24 導入メリット　その６デジタルマーケティングのサービスとの相性もバッチリ ● Fivetran ○ データをDWHへ連携（Marketo、Braze、Google広告　Google Analytics、など） ● Snowflake ○ ELTサービス不要でデータを連携（Brazeのみ） ● Looker ○ 各サービスに対応したダッシュボード（Braze・KARTEのみ）引用元：クラスメソッド　マーケティングソリューション

Slide 25

Slide 25 text

25 導入メリット　その７サポートやプロサービスによる支援を受けられる ● 何かトラブルがあったときに支援を受けられる ● 各製品ベンダーのサポート＆プロサービスとの違い ○ 複数製品を組み合わせた対応が可能 i. LookerからSnowflakeに繋げる時の設定対応 ii. dbtをSnowflakeで使用する時のプラクティス

Slide 26

Slide 26 text

26 導入メリット　まとめ本来すべきことである「データ活用」に注力できる ● データ分析・活用も、言ってしまえば「ただの手段」しかしデータ基盤に対する自社開発が増えると、 ”手段のための手段”の工程が増えてしまう ● 「データ分析・活用によるビジネス推進」に注力するために、データ基盤の開発や運用は効率よく楽にするべき！ ● SaaS主体のデータ基盤はいかがですか？

Slide 27

Slide 27 text

27 アジェンダ１．データ基盤の導入における課題２．クラスメソッドのModern Data Stack ・全体像・導入するメリット・各製品の導入フェーズ３．まとめ

Slide 28

Slide 28 text

28 Modern Data Stackの各製品　どうやって導入するか？どうやって各製品を導入していくか、５つのフェーズに分けてご紹介 ● 前提 ○ データ分析に関連する製品を何も入れていない組織・企業 ● 注意事項 ○ 実際は、すでに導入している他サービスや業務システムによって導入する製品の順番が変わることも多いです ○ あくまで一例として御覧ください

Slide 29

Slide 29 text

29 導入フェーズ１：まずはデータ分析をやってみる ● 導入後の効果 ○ 「データ分析・活用」の感覚を掴むことができる（現状をデータで理解できるようになればバッチリ） ○ 表計算ソフトを用いたレポート作成工数が削減される可能性もある ● 導入後の課題 ○ 扱うデータ量が多くなると、クライアントPCだけで動かすことが難しくなる

Slide 30

Slide 30 text

30 導入フェーズ２：データウェアハウスの導入 ● 導入後の効果 ○ 数億件、数十億件のデータでも問題なく分析できるようになる ○ Snowflakeなら、社外共有・タイムトラベルによるリカバリも容易に可能 ● 導入後の課題 ○ 他に使用しているシステムのデータを、どのように収集すればいいか ■ 例：Salesforce、Pardot、Marketo、Google Analytics、Zendeskなど

Slide 31

Slide 31 text

31 導入フェーズ３：使用するデータの拡大 ● 導入後の効果 ○ データソースに当たるサービスとデータウェアハウスの認証情報を設定するだけで、Fivetranが考えたスキーマ構成でデータを連携してくれる ○ APIの仕様変更もFivetranがカバーしてくれるため、運用負荷はほぼ０ ● 導入後の課題 ○ データが増えてきて用途ごとのデータ(データマート)が多くなり、データウェアハウス内にどんなデータを整備しているか、整理がつかない

Slide 32

Slide 32 text

32 導入フェーズ４：DWH内のデータを整える ● 導入後の効果 ○ ソフトウェア開発の手法（バージョン管理、開発環境と本番環境の分離、自動テストなど）を取り入れて、効率よくデータを加工できる ● 導入後の課題 ○ DWH内のデータは整ったが、末端のエンドユーザーが各指標の定義（売上の定義方法など）を違うロジックで書いてしまい、ダッシュボード上の値が合わないことがある

Slide 33

Slide 33 text

33 導入フェーズ５：指標にガバナンスを効かせる ● 導入後の効果 ○ LookMLにより各指標にガバナンスを効かせられるため、どのユーザーも同じ定義のもとに分析をすることが出来る ● Lookerで定義した指標をTableauで使用できる様になる予定　※参考ページ ● LookerとTableauはそれぞれ特性が異なるため、両方導入するのもあり参考：Looker歴2か月、元Tableau運用者がそれぞれの良さを語ります

Slide 34

Slide 34 text

34 アジェンダ１．データ基盤の導入における課題２．クラスメソッドのModern Data Stack ・全体像・導入するメリット・各製品の導入フェーズ３．まとめ

Slide 35

Slide 35 text

35 クラスメソッドのModern Data Stack　全体像

Slide 36

Slide 36 text

36 まとめクラスメソッドのModern Data Stack ・６つの製品から構成される効率よく開発・運用ができるデータ基盤・１製品だけでも導入メリットはあります！　自社開発している一部分だけでもSaaSに変えてみませんか？　クラスメソッドのModern Data Stackを導入することで、「データ活用」に注力できるデータ基盤が構築できます！

Slide 37

Slide 37 text

No content