Fivetranでデータ移動を自動化する 2023/09/27

よろしくお願いします ● Hank Ehly（ハンク・イーリー） ● Slalom株式会社（スラロム） ● Data & Analytics シニアコンサルタント ● https://hankehly.com ● https://qiita.com/hankehly ● https://github.com/hankehly ● https://medium.com/@hankehly ● https://www.twitter.com/hankehly ● https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です

ビジネスのことはデータで決めたい 勘で決める データで決める

でも、データはあちこちにある とか

全部 Excel に落とせばいい！

全部 Excel に落とせばいい！ ダルッ！

Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract Transform Load 抽出 変換 書き出し

Fivetranの仕組み （ステップ２） データソースのREAD権限 （ステップ１） 格納先のWRITE権限 毎日10時に… （ステップ１∼２は　　　　でも管理できる）

（ステップ１）格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK

（ステップ２）データソースのREAD権限 設定方法がとにかく 分かりやすい

ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも？

Fivetranはデータ移動自動化のリーダー的な存在 ● 2,000TB/月 ● 99.9% アップタイム ● コネクタ多数 ● 収益がビュンビュン伸びている（2022年50%上がった） ● 様々な賞を獲得している ○ Google Cloud Global Technology Partner of the Year ○ Snowflake Data Integration Partner of the Year ○ Databricks Data Ingestion Partner of the Year 参考：Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone

● お金の節約にもなれる ○ エンジニアの工数削減 Fivetranはすべてが自動化されている ● 時間の節約 ○ 実装／メンテナンス不要 ○ エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話

Fivetranはコネクタが多い ● 389（2023/09/26現在） ● 種類 ○ アプリケーション ○ DB ○ ファイル ○ イベント ○ 関数 ● カスタムコネクタ ○ （Lambda、Cloud Functionsで実装しないと いけないけど）

Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124 ABC IL 1 データ匿名化（Hash化） 変更のトラッキング （SCD タイプ2） モデル化 超便利！

Pipeline as a Service ツールを試してみよう！

Slalom（スラロム） フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験（Slalom vs USA平均） 「いいな」と思うところ 1. いろんな案件に携わられる 2. 英語も日本語も使える 3. モダンなテクノロジー（日本の DXに貢献） 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo

ご清聴ありがとうございます