「データ活用」に注力できるデータ基盤を構築しませんか？～クラスメソッドのModern Data Stackのご紹介～

Developers.IO 2022
https://classmethod.jp/m/developers-io/

【概要】
昨今ビジネスの環境が目まぐるしく変わる中、「これまでの経験」や「前例踏襲」のビジネスのやり方では対応できなくなってきているケースが多くなり、データを活用して、データに基づいた意思決定を行おうとする組織が増えていると思います。 一方で、データを活用するためには「データ基盤」が必要となるのですが、このデータ基盤の構築に苦労し、本来すべきデータ活用に注力できていない組織も多いのではないでしょうか。クラスメソッドでは複数のSaaSを組み合わせて簡単にデータ基盤を構築する「Modern Data Stack」を提唱しております。本セッションでは、自力で構築したデータ基盤における課題に対して、クラスメソッドのModern Data Stackを導入することでどう解決できるのか、をお話します。

Transcript

1. 「データ活用」に注力できる
 データ基盤を構築しませんか？
 ～クラスメソッドのModern Data Stackのご紹介～
 2022/7/27
 アライアンス統括部
 相樂悟

2. 2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス統括部 主な担当 モダンデータスタックのプロサービス・プリセールス
3. 3 本セッションで「話す」こと ・「クラスメソッドのModern Data Stack」の全体像 ・導入するメリット ・各製品の導入フェーズ
4. 4 本セッションで「話さない」こと ・各製品の詳細＆デモンストレーション ぜひ、弊社のブログやYouTubeも御覧ください！ 【ブログ】　　　　　　　　　　　【YouTube】 ・Fivetranの記事一覧　　　　　　・Fivetranの動画一覧 ・Snowflakeの記事一覧　　　　　・Snowflakeの動画一覧 ・dbtの記事一覧　　　　　　　　 ・dbtの動画一覧 ・Lookerの記事一覧　　　　　　 ・Lookerの動画一覧 ・Alteryxの記事一覧　　　　　　 ・Alteryxの動画一覧 ・Tableauの記事一覧　　　　　　・Tableau×Snowflakeのデモ
5. 5 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack ・全体像 ・導入するメリット ・各製品の導入フェーズ ３．まとめ
6. 6 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack ・全体像 ・導入するメリット ・各製品の導入フェーズ ３．まとめ
7. 7 「データ活用」の重要性 スマートフォンを始めとしたIT技術の発達により、 「前例踏襲」のビジネスの進め方では対応できなくなってきている IT技術の発達により、データの総量が急激に増えている データを活用したビジネスの推進が求められている 引用元：総務省 情報通信白書 令和2年版 引用元：総務省 情報通信白書 平成29年版
8. 8 「データ活用」には「データ基盤」が必要 各ステップにおいて、何かしらの製品導入や開発が必要 社内のデータ データの蓄積 （データウェアハウス） マーケティング レポーティング 統計分析・機械学習 データの 取り込み 加工 加工
9. 9 データ基盤導入における課題　一覧 ３つのパターンに分けてお話します ・データ基盤を構築していない ・オンプレミス環境に構築 ・自社開発ベースでクラウド環境に構築
10. 10 データ基盤導入における課題　パターン１ パターン１：データ基盤を構築していない • 構成例 ◦ 表計算ソフトなどを使用して、レポート作成・分析など、 データに関わる業務の全てを行っている • 課題 ◦ ファイルごとにデータが分断され、正しいデータがわからない ◦ ファイルが損失したら業務に多大な影響を及ぼすリスクがある ◦ (PCスペックによるが)10万行超えると動作が重くなることが多い
11. 11 データ基盤導入における課題　パターン２ パターン２：オンプレミス環境で構築 • 構築方法 ◦ サーバーを自社調達し、ベンダーソフトをインストール • 課題 ◦ 運用要員が必要（数名～数十名） ◦ すぐにスケールアップ・スケールアウト出来ないため、 コンピュートリソースの管理運用に悩まされる ◦ サーバー増築時の追加投資の判断が難しい（数百万～数千万円）
12. 12 データ基盤導入における課題　パターン３ パターン３：自社開発ベースでクラウド環境に構築 • 構成方法 ◦ DWHはクラウドサービスを使い、他はOSS主体で自社開発 • 課題 ◦ 自社開発のため、サーバー管理や導入したOSSのバージョン管理な ど、少し高めのエンジニアリングスキルが求められる ◦ OSSに関しては何かトラブルが発生した時、サポートがないため自社内 で解決をしないといけない
13. 13 データ基盤導入における課題　クラスメソッドの提案 SaaS主体のデータ基盤はいかがですか？
14. 14 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack ・全体像 ・導入するメリット ・各製品の導入フェーズ ３．まとめ
15. 15 クラスメソッドのModern Data Stack　全体像 データソース➟DWH の連携が、認証情報の 設定だけで可能なツー ル スケーラビリティに優 れ、外部共有などの機 能もあるDWH ソフト開発の手法に則 りデータ変換処理が開 発出来るツール LookMLを用いた、指 標の定義の統制に優 れたBIツール 直感的な操作で 多様な表現が 可能なBIツール GUI操作でデータク レンジング～ 予測分析まで 行えるツール
16. 16 （再掲）各製品の詳細について ぜひ、弊社のブログやYouTubeも御覧ください！ 【ブログ】　　　　　　　　　　　【YouTube】 ・Fivetranの記事一覧　　　　　　・Fivetranの動画一覧 ・Snowflakeの記事一覧　　　　　・Snowflakeの動画一覧 ・dbtの記事一覧　　　　　　　　 ・dbtの動画一覧 ・Lookerの記事一覧　　　　　　 ・Lookerの動画一覧 ・Alteryxの記事一覧　　　　　　 ・Alteryxの動画一覧 ・Tableauの記事一覧　　　　　　・Tableau×Snowflakeのデモ
17. 17 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack ・全体像 ・導入するメリット ・各製品の導入ステップ ３．まとめ
18. 18 クラスメソッドのModern Data Stack　導入メリット 導入メリット、７つお話します ・実装工数が短い、最短１日でデータの取り込みが出来る ・いかなるデータ量・リクエスト量にも基本的に対応可能 ・コーディングは最低限、かつ効率的に実装可能 ・サーバー管理、ソフトウェアのバージョン管理からの開放 ・各サービス間の相性もバッチリ ・デジタルマーケティングのサービスとの相性もバッチリ ・サポートやプロサービスを受けられる
19. 19 導入メリット　その１ 実装工数が短い、最短１日でデータの取り込みが出来る • 自社開発の場合 ◦ 数日での立ち上げは正直難しい ◦ サーバー構成の設計、データ取り込み＆加工処理の設計、などを考え ないといけない • Fivetranが対応しているデータソースの場合 ◦ Fivetran➟Snowflake➟Tableau/Lookerの構成であれば最短１日で ◦ Fivetranが対応するデータソースの例：
20. 20 導入メリット　その２ いかなるデータ量・リクエスト量にも基本的に対応可能 • SnowflakeをDWHとして採用すれば、 コンピュートリソースの管理で悩むことはほぼない • 対応する処理 ◦ Fivetranによるデータ取り込み ◦ dbtによる加工処理 ◦ Looker/Tableauで発行されたクエリ dbt（XL×1） BIツール （M×4） Fivetran （L×2） 処理を行うコンピュートリソースは 用途別に分けられる
21. 21 導入メリット　その３ コーディングは最低限、かつ効率的に実装可能 • データ収集 ◦ Fivetranが対応するデータソースならばコーディングは不要 • データ加工 ◦ dbtならば、SQLやYAMLのコーディングはあるが、ソフト開発の手法に 沿って体系的に加工ができる ◦ Pythonなどのプログラミング言語は基本的に不要 • 可視化 ◦ Tableau：コーディングいらず ◦ Looker：LookMLにより各指標に対してガバナンスを効かせられる
22. 22 導入メリット　その４ サーバー管理、ソフトウェアのバージョン管理からの開放 • オンプレミスでの構築や自社開発の場合 ◦ ホスティングしたサーバーの管理 ◦ 導入したOSSやソフトウェアのアップデート ◦ 脆弱性発覚時の対策 • クラスメソッドのModern Data Stackの場合 ◦ 基本SaaSのため、上述の保守運用の作業は不要
23. 23 導入メリット　その５ 各サービス間の相性もバッチリ • Fivetran × dbt ◦ Fivetranからdbtの処理を実行できる機能がある ◦ Fivetranで構成されたスキーマに沿ったdbt用のコードが 一般公開されていて、すぐに分析可能なテーブルを構築可能 ◦ 参考：Fivetran×dbtを紹介したブログ記事 • Looker/Tableau × Snowflake ◦ Snowflake上の一番小さいコンピュートリソースであっても、 LookerやTableauで6000万行規模のデータを分析可能 ◦ 参考：Tableau×Snowflakeのデモ
24. 24 導入メリット　その６ デジタルマーケティングのサービスとの相性もバッチリ • Fivetran ◦ データをDWHへ連携 （Marketo、Braze、Google広告 　Google Analytics、など） • Snowflake ◦ ELTサービス不要で データを連携（Brazeのみ） • Looker ◦ 各サービスに対応 したダッシュボード （Braze・KARTEのみ） 引用元：クラスメソッド　マーケティングソリューション
25. 25 導入メリット　その７ サポートやプロサービスによる支援を受けられる • 何かトラブルがあったときに支援を受けられる • 各製品ベンダーのサポート＆プロサービスとの違い ◦ 複数製品を組み合わせた対応が可能 i. LookerからSnowflakeに繋げる時の設定対応 ii. dbtをSnowflakeで使用する時のプラクティス
26. 26 導入メリット　まとめ 本来すべきことである「データ活用」に注力できる • データ分析・活用も、言ってしまえば「ただの手段」 しかしデータ基盤に対する自社開発が増えると、 ”手段のための手段”の工程が増えてしまう • 「データ分析・活用によるビジネス推進」に注力するために、 データ基盤の開発や運用は効率よく楽にするべき！ • SaaS主体のデータ基盤はいかがですか？
27. 27 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack ・全体像 ・導入するメリット ・各製品の導入フェーズ ３．まとめ
28. 28 Modern Data Stackの各製品　どうやって導入するか？ どうやって各製品を導入していくか、５つのフェーズに分けてご紹介 • 前提 ◦ データ分析に関連する製品を何も入れていない組織・企業 • 注意事項 ◦ 実際は、すでに導入している他サービスや業務システムによって導入 する製品の順番が変わることも多いです ◦ あくまで一例として御覧ください
29. 29 導入フェーズ１：まずはデータ分析をやってみる • 導入後の効果 ◦ 「データ分析・活用」の感覚を掴むことができる （現状をデータで理解できるようになればバッチリ） ◦ 表計算ソフトを用いたレポート作成工数が削減される可能性もある • 導入後の課題 ◦ 扱うデータ量が多くなると、クライアントPCだけで動かすことが難しくなる
30. 30 導入フェーズ２：データウェアハウスの導入 • 導入後の効果 ◦ 数億件、数十億件のデータでも問題なく分析できるようになる ◦ Snowflakeなら、社外共有・タイムトラベルによるリカバリも容易に可能 • 導入後の課題 ◦ 他に使用しているシステムのデータを、どのように収集すればいいか ▪ 例：Salesforce、Pardot、Marketo、Google Analytics、Zendeskなど
31. 31 導入フェーズ３：使用するデータの拡大 • 導入後の効果 ◦ データソースに当たるサービスとデータウェアハウスの認証情報を 設定するだけで、Fivetranが考えたスキーマ構成でデータを連携してくれる ◦ APIの仕様変更もFivetranがカバーしてくれるため、運用負荷はほぼ０ • 導入後の課題 ◦ データが増えてきて用途ごとのデータ(データマート)が多くなり、 データウェアハウス内にどんなデータを整備しているか、整理がつかない
32. 32 導入フェーズ４：DWH内のデータを整える • 導入後の効果 ◦ ソフトウェア開発の手法（バージョン管理、開発環境と本番環境の分離、 自動テストなど）を取り入れて、効率よくデータを加工できる • 導入後の課題 ◦ DWH内のデータは整ったが、末端のエンドユーザーが各指標の定義（売上の定義 方法など）を違うロジックで書いてしまい、ダッシュボード上の値が 合わないことがある
33. 33 導入フェーズ５：指標にガバナンスを効かせる • 導入後の効果 ◦ LookMLにより各指標にガバナンスを効かせられるため、 どのユーザーも同じ定義のもとに分析をすることが出来る • Lookerで定義した指標をTableauで使用できる様になる予定　※参考ページ • LookerとTableauはそれぞれ特性が異なるため、両方導入するのもあり 参考：Looker歴2か月、元Tableau運用者がそれぞれの良さを語ります
34. 34 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack ・全体像 ・導入するメリット ・各製品の導入フェーズ ３．まとめ
35. 35 クラスメソッドのModern Data Stack　全体像
36. 36 まとめ クラスメソッドのModern Data Stack ・６つの製品から構成される効率よく開発・運用ができるデータ基盤 ・１製品だけでも導入メリットはあります！ 　自社開発している一部分だけでもSaaSに変えてみませんか？ 　 クラスメソッドのModern Data Stackを導入することで、 「データ活用」に注力できるデータ基盤が構築できます！