Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MDSを加速する 〜Fivetranとプロフェッショナルサービス〜

Shasha
August 21, 2024
4

MDSを加速する 〜Fivetranとプロフェッショナルサービス〜

Shasha

August 21, 2024
Tweet

Transcript

  1. 2 自己紹介 • 名 前:ほりもと りさ • ブログ:紗紗 • 会 社:クラスメソッド

    • 部 署:アライアンス事業部 • 役 職:アナリティクスコンサルタント LookerやSnowflakeのプロフェッショナルサービスを担当 しています
  2. 3 お話しすること • Modern Data Stackのご紹介 ◦ Modern Data Stack(MDS)とは?

    ◦ Fivetranについて ◦ Fivetran x BigQuery x Looker デモ • プロフェッショナルサービスのご紹介
  3. 7 @くらにゃん 古のDWH導入というと... ハードウェアの導入 と設定
 DBMSの 
 インストールと設定 
 データウェアハウスの 設計と実装

    
 モニタリングと 
 メンテナンス 
 まず最初に、データを保管するため の物理的なハードウェア(サー バー)を導入し、それを設定する必 要があったにゃん。
 これには、十分なストレージと処理 能力を持つハードウェアを選択する ことが不可欠だったにゃん。 
 次に、導入したハードウェア上に データベース管理システム(DBMS) をインストールし、設定するにゃん。 
 これには、システム要件を満たす DBMSを選択し、それを適切に設定 することが含まれるにゃん。 
 この段階では、どのようなデータを 集積するか、どういう形で集積する か(スキーマ設計)などを決定し、実 装するにゃん。
 具体的には、DBMS上にテーブルや ビューを作成し、データを挿入する 手段(ストアドプロシージャやETL ツール等)を実装するといった作業 が必要となるにゃん。 
 データウェアハウスの稼働後は、パ フォーマンスの監視や問題の解決、 必要なメンテナンスを行うにゃん。こ れには、データ量の増加や技術的 なトラブルなどに対応する為、継続 的な監視と調整が必要だったにゃ ん。

  4. 13 改めてMDSとは? • SaaSを組み合わせてデータ分析基盤を構築する ◦ データの抽出ロード ◦ 蓄積、変換 ◦ 可視化

    ◦ その他 ▪ ガバナンス管理 ▪ 可観測性ツール さまざまな データソース 抽出&ロード 蓄積・変換 分析・可視化
  5. 17 @くらにゃん データの抽出とロードを自社で開発しようとするとどんな工程が必要なの? 
 データソース 
 の定義
 データ取得方法 
 の設計


    データの変換 
 データのロード 
 エラーハンドリング 
 ロギング 
 スケジューリング 
 監視
 以上の工程は大まかなもので、細かい部分ではさらに多くの手間と時間が必要になるにゃん。 
 自社で開発するには複雑で大変なものになるけど、だからといって手を抜かずにやるのが大切にゃん!某もこ う言うけどにゃん、それぞれの手順でたくさんの知識と技術が要求されるから、 専門的なスキルを持つメン バーがいることも重要にゃん !

  6. 18 ここがすごいよFivetran! 
 データソース 
 の定義
 データ取得方法 
 の設計
 データの変換

    
 データのロード 
 エラーハンドリング 
 ロギング 
 スケジューリング 
 監視
 全部Fivetran がやるにゃん

  7. 27 Looker Blocks以外にもできることがたくさん • 社内のデータを一つの DBに集約して分析が可能 ◦ LookMLによる指標の事前定義で人による集計方法のばらつ きを防ぐ ◦

    アクセス権限の設定でデータにアクセスできるユーザーを設定 可能 ◦ SQLが書けないユーザーでもGUI操作でデータにアクセス可能
  8. 32 まとめ • イマドキのデータ分析基盤は SaaSを組み合わせて素早く 構築する( Modern Data Stackと呼ぶ) •

    MDSの一員のFivetranはカンタンにデータを DWHにロー ドすることができるサービス • MDSの一員のLookerはFivetranと相性がよく、データガ バナンスを効かせて信頼できるデータ分析を行うことが 可能 さまざまな データソース 抽出&ロード 蓄積・変換 分析・可視化
  9. 34