8週連続ウェビナー_イチから学ぶFivetran

2024年03月21日開催のクラスメソッド株式会社と株式会社メソドロジックの共催イベント『【毎週開催】メソドロジック社共催！イチから始めるデータ活用！8週連続ウェビナー』の第5回開催回である「イチから学ぶFivetran」の発表資料です。

Transcript

1. 2024/3/21 クラスメソッド株式会社 アライアンス事業部 スズ イチから始めるデータ活用！8週連続ウェビナー
 イチから学ぶFivetran

2. 自己紹介 2 氏名： スズ 所属： クラスメソッド株式会社 アライアンス事業部 担当： Alteryx、Tableau、Fivetranに関する技術支援
3. 3 会社紹介 オープンな発想と高い技術力によりすべての人々の創造活動に貢献し続ける
 名称
 
 代表者
 
 設　立
 
 本　社
 
 
 拠　点
 
 
 
 資本金
 
 従業員
 クラスメソッド株式会社
 
 横田　聡
 
 2004年7月7日
 
 東京都港区西新橋1－1－1
 日比谷フォートタワー26階
 
 東京、札幌、仙台、上越、名古屋、大阪、福岡、 沖縄、ベルリン、バンクーバー、ホーチミン、バン コク、ソウル
 
 1億円
 
 700名（2023年9月現在/グループ全体） 
 2024年7月開催！20周年イベントClassmethod ODYSSEY お申し込みはこちら
4. 4 クラスメソッドではこれらサービス品の導入・運用をサポートしています。
 各サービスを組み合わせて使うことで、より簡単にデータ分析を行う環境づくりをお手伝いします。

5. 5 Fivetranとは？
6. 6 Fivetranとは？
7. 7 Fivetranとは？ • データパイプライン構築のためのプラットフォーム • データソースからデータウェアハウスへの データ統合を自動化
8. 8 データ統合？ データソース データウェアハウス
9. 9 データの統合で行うこと • Extract ◦ データソースからデータの抽出 • Load ◦ データウェアハウスへのデータのロード • Transform ◦ データの変換
10. 10 データの統合で行うこと • Extract ◦ データソースからデータの抽出 • Load ◦ データウェアハウスへのデータのロード • Transform ◦ データの変換
11. 11 ELT?ETL?
12. 12 ETLとELT • ETL (Extract/Transform/Load) ◦ データの抽出 -> 変換 -> ロード • ELT (Extract/Load/Transform) ◦ データの抽出 -> ロード -> 変換
13. 13 ETL 1. データソースからデータを抽出 2. データを変換 ◦ 生のデータではなく、集計したデータをロードする 3. データウェアハウスにロードする
14. 14 以前はETLが主流 • 集計したデータをロードすることで、 データボリュームを縮小 ◦ データウェアハウスの処理の負荷の軽減 ◦ ストレージコストの削減
15. 15 一方で・・・ • データを集計しているため、蓄積されたデータの 粒度を変更できない • データをロードする前に、ユースケースに応じた データモデルの設計が必要
16. 16 ETLワークフロー 出典：ETL vs. ELT: Choose the right approach for data integration ( https://www.fivetran.com/blog/etl-vs-elt )
17. 17 現在は データウェアハウスの処理性能が向上し、 ストレージコストも低下
18. 18 データをロードする前に データを変換しなくてもいいのでは？
19. 19 ELT • データソースをデータウェアハウスにロードする • 生のデータをロードする ◦ データウェアハウス内でデータを変換するため、 用途にあわせてデータマートを作成できる
20. 20 ELTワークフロー 出典：ETL vs. ELT: Choose the right approach for data integration ( https://www.fivetran.com/blog/etl-vs-elt )
21. 21 Fivetranの特徴
22. 22 生データをそのままロードするなら サービスを使わなくても簡単なのでは？
23. 23 ELTで行うこと データの 抽出 抽出完了の 確認 データの 整形 データの 正規化 整合性の 確認 保存
24. 24 Fivetranを利用することで データの 抽出 抽出完了の 確認 データの 整形 データの 正規化 整合性の 確認 保存 まるっとFivetranにおまかせ
25. 25 ユーザーが設定することは2つ • Destination ◦ データのロード先（データウェアハウスなど）の設定 • Connector ◦ データの抽出元となるデータソースへの接続 Connector Destination
26. 26 Destinationの設定 データウェアハウスを選択 接続設定
27. 27 Connectorの設定 データソースを選択 接続設定
28. 28 様々なConnector • Connectorの種類は400以上 ◦ アプリケーション ▪ Salesforce、Zendesk、Slackなど ◦ データベース ▪ MySQL、Oracleなど ◦ ファイル ▪ Google Drive、Box、SFTPなど
29. 29 定義済みのConnector • ロード後のテーブル定義はFivetran側で定義済み • テーブル間の関係図 (ERD) を公開 出典：Zendesk Support (https://fivetran.com/docs/connectors/applications/zendesk) の Schema information より一部抜粋
30. 30 データの更新とスケジュール • 初回同期時に過去の全データをロード • 以降はスケジュールに応じて差分更新 ◦ ログベースの変更データキャプチャ (CDC)
31. 31 データ更新とスキーマ移行の自動化 Add Column Remove Column Change Type Source Destination Add Object Remove Object スキーマ移行の自動化 Insert Update Delete データ更新の自動化 Source Destination
32. 32 抽出したいデータソースのConnectorがない • By Requestプログラム ◦ 特定のユースケースに向けたLite Connectorの開発 ◦ 開発されたLite Connectorは誰でも利用可能 • 日本向けのLite Connectorの開発実績 ◦ Yahoo Search Ads on Yahoo Japan
33. 33 実際の画面を少しお見せします
34. 34 データの変換
35. 35 FivetranのELTのT • Transformationでdbt Core/Cloudと連携可能 ◦ dbtで作成したモデルをFivetranでスケジュール管理 • 一部のConnector向けにFivetran Data Modelを提供 ◦ Salesforce、Zendesk Supportなど
36. 36 Quick Data Model • Fivetran Data Modelのうち、一部のモデルで利用可能 ◦ Salesforce、Shopify、Zendesk Supportなど • Fivetranが用意したモデルとdbtの環境を利用 ◦ 自社のdbtを利用せずにデータの変換が可能
37. 37 dbt?
38. 38 イチから始めるデータ活用！ 8週連続ウェビナー 6日目：3月28日（木） イチから学ぶdbt
39. 39 さいごに
40. 40 改めてFivetranとは • データパイプライン構築のためのプラットフォーム ◦ データの抽出とロードをになうELTサービス • データソースからデータウェアハウスへの データ統合を自動化 ◦ ユーザーによるメンテナンス不要なフルマネージドサービス
41. ありがとうございました！