Fivetranでデータ移動を自動化する

Transcript

1. Fivetranでデータ移動を自動化する 2023/09/27
2. よろしくお願いします • Hank Ehly（ハンク・イーリー） • Slalom株式会社（スラロム） • Data & Analytics シニアコンサルタント • https://hankehly.com • https://qiita.com/hankehly • https://github.com/hankehly • https://medium.com/@hankehly • https://www.twitter.com/hankehly • https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です
3. ビジネスのことはデータで決めたい 勘で決める データで決める
4. でも、データはあちこちにある とか
5. 全部 Excel に落とせばいい！
6. 全部 Excel に落とせばいい！ ダルッ！
7. Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract Transform Load 抽出 変換 書き出し
8. Fivetranの仕組み （ステップ２） データソースのREAD権限 （ステップ１） 格納先のWRITE権限 毎日10時に… （ステップ１∼２は　　　　でも管理できる）
9. （ステップ１）格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK
10. （ステップ２）データソースのREAD権限 設定方法がとにかく 分かりやすい
11. ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも？
12. Fivetranはデータ移動自動化のリーダー的な存在 • 2,000TB/月 • 99.9% アップタイム • コネクタ多数 • 収益がビュンビュン伸びている（2022年50%上がった） • 様々な賞を獲得している ◦ Google Cloud Global Technology Partner of the Year ◦ Snowflake Data Integration Partner of the Year ◦ Databricks Data Ingestion Partner of the Year 参考：Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
13. • お金の節約にもなれる ◦ エンジニアの工数削減 Fivetranはすべてが自動化されている • 時間の節約 ◦ 実装／メンテナンス不要 ◦ エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話
14. Fivetranはコネクタが多い • 389（2023/09/26現在） • 種類 ◦ アプリケーション ◦ DB ◦ ファイル ◦ イベント ◦ 関数 • カスタムコネクタ ◦ （Lambda、Cloud Functionsで実装しないと いけないけど）
15. Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124 ABC IL 1 データ匿名化（Hash化） 変更のトラッキング （SCD タイプ2） モデル化 超便利！
16. Pipeline as a Service ツールを試してみよう！
17. Slalom（スラロム） フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験（Slalom vs USA平均） 「いいな」と思うところ 1. いろんな案件に携わられる 2. 英語も日本語も使える 3. モダンなテクノロジー（日本の DXに貢献） 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo
18. ご清聴ありがとうございます