最短１日で構築！？データドリブンな文化をプッシュするクラスメソッドのModern Data Stack

2023/5/16に開催された「AWS 東京リージョンにFivetranがやってきた！今こそモダンデータスタックを活用したデータクラウドを構築しよう」で登壇した際の資料です。

https://dev.classmethod.jp/news/230516-fivetran-snowflake-webinar/

Transcript

1. 最短１日で構築！？
 データドリブンな文化をプッシュする
 クラスメソッドのModern Data Stack
 1 2023/5/16
 アライアンス統括部
 相樂悟

2. 2 自己紹介 氏名 相樂 悟 (サガラ サトシ) 所属 クラスメソッド株式会社 アライアンス統括部 役割 Modern Data Stackソリューション　テックリード （各種案件対応・新技術調査＆検証・メンバーフォロー）
3. 3 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に
4. 4 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に
5. 5 「データ活用」には「データ基盤」が必要 各ステップにおいて、何かしらの製品導入や開発が必要 社内のデータ データの蓄積 （データウェアハウス） マーケティング レポーティング 統計分析・機械学習 データの 取り込み 加工 加工
6. 6 データ基盤導入における課題　一覧 ３つのパターンに分けてお話します ・データ基盤を構築していない ・オンプレミス環境に構築 ・自社開発ベースでクラウド環境に構築
7. 7 データ基盤導入における課題　パターン１ パターン１：データ基盤を構築していない • 構成例 ◦ 表計算ソフトなどを使用して、レポート作成・分析など、 データに関わる業務の全てを行っている • 課題 ◦ ファイルごとにデータが分断され、正しいデータがわからない ◦ ファイルが損失したら業務に多大な影響を及ぼすリスクがある ◦ (PCスペックによるが)10万行超えると動作が重くなることが多い
8. 8 データ基盤導入における課題　パターン２ パターン２：オンプレミス環境で構築 • 構築方法 ◦ サーバーを自社調達し、ベンダーソフトをインストール • 課題 ◦ 運用要員が必要（数名～数十名） ◦ すぐにスケールアップ・スケールアウト出来ないため、 コンピュートリソースの管理運用に悩まされる ◦ サーバー増築時の追加投資の判断が難しい（数百万～数千万円）
9. 9 データ基盤導入における課題　パターン３ パターン３：自社開発ベースでクラウド環境に構築 • 構成方法 ◦ DWHはクラウドサービスを使い、他はOSS主体で自社開発 • 課題 ◦ 自社開発のため、サーバー管理や導入したOSSのバージョン管理な ど、少し高めのエンジニアリングスキルが求められる ◦ OSSに関しては何かトラブルが発生した時、サポートがないため自社内 で解決をしないといけない
10. 10 データ基盤導入における課題　クラスメソッドの提案 クラウドネイティブなSaaS主体のデータ基盤 「Modern Data Stack」はいかがですか？
11. 11 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に
12. 12 そもそも「Modern Data Stack」とは • 最新のクラウドネイティブの技術やサービスを組み合わせた データ基盤、あるいはその考え方を指す言葉 引用元：Who’s Who in the Modern Data Stack Ecosystem (Spring 2022) 引用元：Understanding the Modern Data Stack
13. 13 クラスメソッドのModern Data Stack　全体像 データソース➟DWH の連携が、認証情報の 設定だけで可能なツー ル スケーラビリティに優 れ、外部共有などの機 能もあるDWH ソフト開発の手法に則 りデータ変換処理が開 発出来るツール LookMLを用いた、指 標の定義の統制に優 れたBIツール 直感的な操作で 多様な表現が 可能なBIツール GUI操作でデータク レンジング～ 予測分析まで 行えるツール
14. 14 クラスメソッドのModern Data Stack　導入メリット 導入メリット、４つお話します ・実装工数が短い、最短１日でデータの取り込みが出来る ・いかなるデータ量・リクエスト量にも基本的に対応可能 ・サーバー管理、ソフトウェアのバージョン管理からの開放 ・各サービス間の相性もバッチリ
15. 15 導入メリット　その１ 実装工数が短い、最短１日でデータの取り込みが出来る • 自社開発の場合 ◦ 数日での立ち上げは正直難しい ◦ サーバー構成の設計、データ取り込み＆加工処理の設計、などを考え ないといけない • Fivetranが対応しているデータソースの場合 ◦ Fivetran➟Snowflake➟Tableau/Lookerの構成であれば最短１日で ◦ Fivetranが対応するデータソースの例：
16. 16 導入メリット　その２ いかなるデータ量・リクエスト量にも基本的に対応可能 • SnowflakeをDWHとして採用すれば、 コンピュートリソースの管理で悩むことはほぼない • 対応する処理 ◦ Fivetranによるデータ取り込み ◦ dbtによる加工処理 ◦ Looker/Tableauで発行されたクエリ dbt（XL×1） BIツール （M×4） Fivetran （L×2） 処理を行うコンピュートリソースは 用途別に分けられる
17. 17 導入メリット　その３ サーバー管理、ソフトウェアのバージョン管理からの開放 • オンプレミスでの構築や自社開発の場合 ◦ ホスティングしたサーバーの管理 ◦ 導入したOSSやソフトウェアのアップデート ◦ 脆弱性発覚時の対策 • クラスメソッドのModern Data Stackの場合 ◦ 基本SaaSのため、上述の保守運用の作業は不要
18. 18 導入メリット　その４ 各サービス間の相性もバッチリ • Fivetran × dbt ◦ Fivetranからdbtを実行できる機能(dbt Transformation)がある ◦ Fivetranで構成されたスキーマに沿ったdbtによる変換処理が 一般公開されていて、すぐに分析可能なテーブルを構築可能 • Looker/Tableau × Snowflake ◦ Snowflake上の一番小さいコンピュートリソースであっても、 LookerやTableauで6000万行規模のデータを分析可能 ◦ Snowflakeのマルチクラスターウェアハウスならば、 分析者の数が大きく変動しても、自動でスケールアウト/イン可能
19. 19 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に
20. 20 デモですること • Fivetranを使って、Googleスプレッドシートのデータを Snowflakeにロードする • 例：Googleスプレッドシートのデータの例 ◦ スプレッドシート上で業務部門の方が管理しているデータ ◦ Google Formsのアンケート集計データ
21. 21 自分でこのロード処理を開発しようとすると… • 例１：Google Apps ScriptでJSONに変換後、S3に格納 • 例２：Google Sheets APIでデータをJSONで取得し、S3に格納 どちらの方法もコーディングが発生してしまい、 実装に慣れている方じゃないと苦労…メンテナンスも発生… Task/Snowpipeで COPY処理
22. 22 デモ：Fivetranでスプレッドシートのデータをロード Googleフォームで作ったアンケートの回答結果が溜まった、 GoogleスプレッドシートのデータをFivetranでSnowflakeにロード いかにFivetranが簡単にロードできるか、注目してください！ 標準機能で自動連携
23. 23 アジェンダ １．データ基盤の導入における課題 ２．クラスメソッドのModern Data Stack 　 ３．デモ：FivetranでスプレッドシートのデータをSnowflakeへ ４．最後に
24. 24 まとめ クラスメソッドのModern Data Stack ・SaaSを中心に構成され、効率よく開発・運用ができるデータ基盤 ・Fivetran×Snowflakeだけでも、厄介なデータロードを爆速で実現！ 　 クラスメソッドのModern Data Stackを導入することで、 「データ活用」に注力できるデータ基盤が構築できます！