MDSを加速する 〜Fivetranとプロフェッショナルサービス〜

Transcript

1. MDSを加速する 
 〜Fivetranとプロフェッショナルサービス〜 
 クラスメソッド株式会社　アライアンス事業部
 ほりもと　りさ
 1
2. 2 自己紹介 • 名 前：ほりもと　りさ • ブログ：紗紗 • 会 社：クラスメソッド • 部 署：アライアンス事業部 • 役 職：アナリティクスコンサルタント LookerやSnowflakeのプロフェッショナルサービスを担当 しています
3. 3 お話しすること • Modern Data Stackのご紹介 ◦ Modern Data Stack(MDS)とは？ ◦ Fivetranについて ◦ Fivetran x BigQuery x Looker デモ • プロフェッショナルサービスのご紹介
4. 4 Modern Data Stackのご紹介
5. 5 Modern Data Stack(MDS)とは？
6. • SaaSを組み合わせてデータ分析基盤を構築する 6 Modern Data Stack(MDS)とは？ さまざまな データソース 抽出＆ロード 　BigQuery 　 Looker 蓄積・変換 分析・可視化
7. 7 @くらにゃん　古のDWH導入というと... ハードウェアの導入 と設定
 DBMSの 
 インストールと設定 
 データウェアハウスの 設計と実装 
 モニタリングと 
 メンテナンス 
 まず最初に、データを保管するため の物理的なハードウェア（サー バー）を導入し、それを設定する必 要があったにゃん。
 これには、十分なストレージと処理 能力を持つハードウェアを選択する ことが不可欠だったにゃん。 
 次に、導入したハードウェア上に データベース管理システム（DBMS） をインストールし、設定するにゃん。 
 これには、システム要件を満たす DBMSを選択し、それを適切に設定 することが含まれるにゃん。 
 この段階では、どのようなデータを 集積するか、どういう形で集積する か（スキーマ設計）などを決定し、実 装するにゃん。
 具体的には、DBMS上にテーブルや ビューを作成し、データを挿入する 手段（ストアドプロシージャやETL ツール等）を実装するといった作業 が必要となるにゃん。 
 データウェアハウスの稼働後は、パ フォーマンスの監視や問題の解決、 必要なメンテナンスを行うにゃん。こ れには、データ量の増加や技術的 なトラブルなどに対応する為、継続 的な監視と調整が必要だったにゃ ん。

8. 8 参考：BigQueryのはじめ方
9. 9 BigQueryのセットアップ − その１ ぽちっ
10. 10 BigQueryのセットアップ − その２ ぽちぽちぽちっ
11. 11 BigQueryのセットアップ − その３ かたかたかたかたかたっ　ぽちっ
12. 12 BigQueryのセットアップ − その４ ただ〜〜
13. 13 改めてMDSとは？ • SaaSを組み合わせてデータ分析基盤を構築する ◦ データの抽出ロード ◦ 蓄積、変換 ◦ 可視化 ◦ その他 ▪ ガバナンス管理 ▪ 可観測性ツール さまざまな データソース 抽出＆ロード 蓄積・変換 分析・可視化
14. 14 Fivetranのご紹介
15. 15 Fivetranとは？ • データパイプライン ◦ ELTのELを担う • SaaS • ノーコーディング • 300+ のコネクタ 　BigQuery 　 Looker
16. 16 Fivetranの何がうれしいのか
17. 17 @くらにゃん データの抽出とロードを自社で開発しようとするとどんな工程が必要なの？ 
 データソース 
 の定義
 データ取得方法 
 の設計
 データの変換 
 データのロード 
 エラーハンドリング 
 ロギング 
 スケジューリング 
 監視
 以上の工程は大まかなもので、細かい部分ではさらに多くの手間と時間が必要になるにゃん。 
 自社で開発するには複雑で大変なものになるけど、だからといって手を抜かずにやるのが大切にゃん！某もこ う言うけどにゃん、それぞれの手順でたくさんの知識と技術が要求されるから、 専門的なスキルを持つメン バーがいることも重要にゃん ！

18. 18 ここがすごいよFivetran！ 
 データソース 
 の定義
 データ取得方法 
 の設計
 データの変換 
 データのロード 
 エラーハンドリング 
 ロギング 
 スケジューリング 
 監視
 全部Fivetran がやるにゃん

19. 19 Fivetranの特徴 • 自動スキーマ管理 • シームレスなデータ統合 • フルマネージドサービス
20. 20 2023年のFivetran • Google Cloud東京リージョンのホスト開始 • ドキュメントやインターフェースの日本語化を進める
21. 21 Fivetran　x　BigQuery 　BigQuery
22. 22 Fivetranを使ってSalesforceのデータを BigQueryに入れる
23. 23 画面を切り替えます
24. 24 Looker　x　Fivetran 　 　 Looker
25. 25 Looker x Fivetran SaaS製品のLooker BlocksがFivetranで抽出された データを前提に用意されている
26. 26 画面を切り替えます
27. 27 Looker Blocks以外にもできることがたくさん • 社内のデータを一つの DBに集約して分析が可能 ◦ LookMLによる指標の事前定義で人による集計方法のばらつ きを防ぐ ◦ アクセス権限の設定でデータにアクセスできるユーザーを設定 可能 ◦ SQLが書けないユーザーでもGUI操作でデータにアクセス可能
28. 28 プロフェッショナルサービス のご紹介
29. 29 Looker導入初期の悩み • Lookerを使いこなせるか心配 • LookMLでベストプラクティスに沿って開発・運用できてい るかわからない • Lookerの社内利用が進まない • そもそもLookMLをどのように開発していけばいいかわか らない
30. 30 プロフェッショナルサービスで解決します！ • 各種トレーニング ◦ LookMLトレーニング ◦ 管理者トレーニング ◦ ビジネスユーザートレーニング • 週次セッションの実施 ◦ 質疑応答 ◦ モデルレビュー
31. 31 開発のサイクルを一周する プロフェッショナルサービスで得た知見を横展開して Lookerの開発・運用が自走可能になります！
32. 32 まとめ • イマドキのデータ分析基盤は SaaSを組み合わせて素早く 構築する（ Modern Data Stackと呼ぶ） • MDSの一員のFivetranはカンタンにデータを DWHにロー ドすることができるサービス • MDSの一員のLookerはFivetranと相性がよく、データガ バナンスを効かせて信頼できるデータ分析を行うことが 可能 さまざまな データソース 抽出＆ロード 蓄積・変換 分析・可視化
33. 33 クラスメソッドにお問い合わせください 　　　　　　　　　　 おまかせくださいにゃん！
35. 35 2023年のFivetran • Google Cloud東京リージョンのホスト開始 • ドキュメントやインターフェースの日本語化を進める • 東京オフィス開設（予定）
36. 36 Looker x Fivetran Salesforce　Looker Blocks
37. 37 Salesforce - Looker Blocks
38. 38 Salesforce - Looker Blocks
39. 39 Salesforce - Looker Blocks
40. 40 Looker x Fivetran Zendesk　Looker Blocks
41. 41 Zendesk - Looker Blocks
42. 42 Zendesk - Looker Blocks
43. 43 Zendesk - Looker Blocks
44. 44 よく使うアイコンです。コピーで使用できます
45. 45 人のアイコンです。コピーで使用できます
46. 46 ラインアイコンです。コピーで使用できます