最短１日で構築！？
 データドリブンな文化をプッシュする
 クラスメソッドのModern Data Stack
 1 2023/5/16
 アライアンス統括部
 相樂悟


2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス統括部 役割 Modern Data Stackソリューション　テックリード （各種案件対応・新技術調査＆検証・メンバーフォロー）

3 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に

4 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に

5 「データ活用」には「データ基盤」が必要 各ステップにおいて、何かしらの製品導入や開発が必要 社内のデータ データの蓄積 （データウェアハウス） マーケティング レポーティング 統計分析・機械学習 データの 取り込み 加工 加工

6 データ基盤導入における課題　一覧 ３つのパターンに分けてお話します ・データ基盤を構築していない ・オンプレミス環境に構築 ・自社開発ベースでクラウド環境に構築

7 データ基盤導入における課題　パターン１ パターン１：データ基盤を構築していない ● 構成例 ○ 表計算ソフトなどを使用して、レポート作成・分析など、 データに関わる業務の全てを行っている ● 課題 ○ ファイルごとにデータが分断され、正しいデータがわからない ○ ファイルが損失したら業務に多大な影響を及ぼすリスクがある ○ (PCスペックによるが)10万行超えると動作が重くなることが多い

8 データ基盤導入における課題　パターン２ パターン２：オンプレミス環境で構築 ● 構築方法 ○ サーバーを自社調達し、ベンダーソフトをインストール ● 課題 ○ 運用要員が必要（数名～数十名） ○ すぐにスケールアップ・スケールアウト出来ないため、 コンピュートリソースの管理運用に悩まされる ○ サーバー増築時の追加投資の判断が難しい（数百万～数千万円）

9 データ基盤導入における課題　パターン３ パターン３：自社開発ベースでクラウド環境に構築 ● 構成方法 ○ DWHはクラウドサービスを使い、他はOSS主体で自社開発 ● 課題 ○ 自社開発のため、サーバー管理や導入したOSSのバージョン管理な ど、少し高めのエンジニアリングスキルが求められる ○ OSSに関しては何かトラブルが発生した時、サポートがないため自社内 で解決をしないといけない

10 データ基盤導入における課題　クラスメソッドの提案 クラウドネイティブなSaaS主体のデータ基盤 「Modern Data Stack」はいかがですか？

11 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に

12 そもそも「Modern Data Stack」とは ● 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方を指す言葉 引用元：Who’s Who in the Modern Data Stack Ecosystem (Spring 2022) 引用元：Understanding the Modern Data Stack

13 クラスメソッドのModern Data Stack　全体像 データソース➟DWH の連携が、認証情報の 設定だけで可能なツー ル スケーラビリティに優 れ、外部共有などの機 能もあるDWH ソフト開発の手法に則 りデータ変換処理が開 発出来るツール LookMLを用いた、指 標の定義の統制に優 れたBIツール 直感的な操作で 多様な表現が 可能なBIツール GUI操作でデータク レンジング～ 予測分析まで 行えるツール

14 クラスメソッドのModern Data Stack　導入メリット 導入メリット、４つお話します ・実装工数が短い、最短１日でデータの取り込みが出来る ・いかなるデータ量・リクエスト量にも基本的に対応可能 ・サーバー管理、ソフトウェアのバージョン管理からの開放 ・各サービス間の相性もバッチリ

15 導入メリット　その１ 実装工数が短い、最短１日でデータの取り込みが出来る ● 自社開発の場合 ○ 数日での立ち上げは正直難しい ○ サーバー構成の設計、データ取り込み＆加工処理の設計、などを考え ないといけない ● Fivetranが対応しているデータソースの場合 ○ Fivetran➟Snowflake➟Tableau/Lookerの構成であれば最短１日で ○ Fivetranが対応するデータソースの例：

16 導入メリット　その２ いかなるデータ量・リクエスト量にも基本的に対応可能 ● SnowflakeをDWHとして採用すれば、 コンピュートリソースの管理で悩むことはほぼない ● 対応する処理 ○ Fivetranによるデータ取り込み ○ dbtによる加工処理 ○ Looker/Tableauで発行されたクエリ dbt（XL×1） BIツール （M×4） Fivetran （L×2） 処理を行うコンピュートリソースは 用途別に分けられる

17 導入メリット　その３ サーバー管理、ソフトウェアのバージョン管理からの開放 ● オンプレミスでの構築や自社開発の場合 ○ ホスティングしたサーバーの管理 ○ 導入したOSSやソフトウェアのアップデート ○ 脆弱性発覚時の対策 ● クラスメソッドのModern Data Stackの場合 ○ 基本SaaSのため、上述の保守運用の作業は不要

18 導入メリット　その４ 各サービス間の相性もバッチリ ● Fivetran × dbt ○ Fivetranからdbtを実行できる機能(dbt Transformation)がある ○ Fivetranで構成されたスキーマに沿ったdbtによる変換処理が 一般公開されていて、すぐに分析可能なテーブルを構築可能 ● Looker/Tableau × Snowflake ○ Snowflake上の一番小さいコンピュートリソースであっても、 LookerやTableauで6000万行規模のデータを分析可能 ○ Snowflakeのマルチクラスターウェアハウスならば、 分析者の数が大きく変動しても、自動でスケールアウト/イン可能

19 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に

20 デモですること ● Fivetranを使って、Googleスプレッドシートのデータを Snowflakeにロードする ● 例：Googleスプレッドシートのデータの例 ○ スプレッドシート上で業務部門の方が管理しているデータ ○ Google Formsのアンケート集計データ

21 自分でこのロード処理を開発しようとすると… ● 例１：Google Apps ScriptでJSONに変換後、S3に格納 ● 例２：Google Sheets APIでデータをJSONで取得し、S3に格納 どちらの方法もコーディングが発生してしまい、 実装に慣れている方じゃないと苦労…メンテナンスも発生… Task/Snowpipeで COPY処理

22 デモ：Fivetranでスプレッドシートのデータをロード Googleフォームで作ったアンケートの回答結果が溜まった、 GoogleスプレッドシートのデータをFivetranでSnowflakeにロード いかにFivetranが簡単にロードできるか、注目してください！ 標準機能で自動連携

23 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に

24 まとめ クラスメソッドのModern Data Stack ・SaaSを中心に構成され、効率よく開発・運用ができるデータ基盤 ・Fivetran×Snowflakeだけでも、厄介なデータロードを爆速で実現！ 　 クラスメソッドのModern Data Stackを導入することで、 「データ活用」に注力できるデータ基盤が構築できます！

25