Fivetranでデータ移動を自動化する

Transcript

1. Fivetranでデータ移動を自動化する
   2023/09/27
   

   View Slide

2. よろしくお願いします
   ● Hank Ehly（ハンク・イーリー）
   ● Slalom株式会社（スラロム）
   ● Data & Analytics シニアコンサルタント
   ● https://hankehly.com
   ● https://qiita.com/hankehly
   ● https://github.com/hankehly
   ● https://medium.com/@hankehly
   ● https://www.twitter.com/hankehly
   ● https://www.linkedin.com/in/hankehly
   ※本日の発表内容は発表者の主観です
   

   View Slide

3. ビジネスのことはデータで決めたい
   勘で決める
   データで決める
   

   View Slide

4. でも、データはあちこちにある
   とか
   

   View Slide

5. 全部 Excel に落とせばいい！
   

   View Slide

6. 全部 Excel に落とせばいい！
   ダルッ！
   

   View Slide

7. Pipeline as a Service E(T)L ツール
   今日の話
   ETL = Extract Transform Load
   抽出 変換 書き出し
   

   View Slide

8. Fivetranの仕組み
   （ステップ２）
   データソースのREAD権限
   （ステップ１）
   格納先のWRITE権限
   毎日10時に…
   （ステップ１∼２は　　　　でも管理できる）
   

   View Slide

9. （ステップ１）格納先のWRITE権限
   BQ側の設定手順
   これだけ記入
   すればOK
   

   View Slide

10. （ステップ２）データソースのREAD権限
    設定方法がとにかく
    分かりやすい
    

    View Slide

11. ステータス確認・ON/OFF はダッシュボードで
    実行アラート/
    一時停止
    実行ログ・ス
    テータス情報
    自分のロギングシステム
    に接続することも？
    

    View Slide

12. Fivetranはデータ移動自動化のリーダー的な存在
    ● 2,000TB/月
    ● 99.9% アップタイム
    ● コネクタ多数
    ● 収益がビュンビュン伸びている（2022年50%上がった）
    ● 様々な賞を獲得している
    ○ Google Cloud Global Technology Partner of the Year
    ○ Snowflake Data Integration Partner of the Year
    ○ Databricks Data Ingestion Partner of the Year
    参考：Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
    

    View Slide

13. ● お金の節約にもなれる
    ○ エンジニアの工数削減
    Fivetranはすべてが自動化されている
    ● 時間の節約
    ○ 実装／メンテナンス不要
    ○ エンジニアへの依存度が低い
    Fivetranを使わなかったらBIチー
    ムの人数を2倍にしないといけな
    い話
    

    View Slide

14. Fivetranはコネクタが多い
    ● 389（2023/09/26現在）
    ● 種類
    ○ アプリケーション
    ○ DB
    ○ ファイル
    ○ イベント
    ○ 関数
    ● カスタムコネクタ
    ○ （Lambda、Cloud
    Functionsで実装しないと
    いけないけど）
    

    View Slide

15. Fivetranは色々と便利な機能がある
    _Key Supplier_Code Supplier_State Version
    123 ABC CA 0
    124 ABC IL 1
    データ匿名化（Hash化）
    変更のトラッキング
    （SCD タイプ2）
    モデル化
    超便利！
    

    View Slide

16. Pipeline as a Service ツールを試してみよう！
    

    View Slide

17. Slalom（スラロム）
    フォーチュン誌の「働きがいのある会社ベ
    スト100」に8年連続で選出
    従業員体験（Slalom vs USA平均）
    「いいな」と思うところ
    1. いろんな案件に携わられる
    2. 英語も日本語も使える
    3. モダンなテクノロジー（日本の DXに貢献）
    4. ワークライフバランスがいい
    https://www.slalom.com/ja/locations/tokyo
    

    View Slide

18. ご清聴ありがとうございます
    

    View Slide