Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fivetranでデータ移動を自動化する
Search
Hank Ehly
September 27, 2023
Technology
0
590
Fivetranでデータ移動を自動化する
Hank Ehly
September 27, 2023
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Celeryの紹介と本番運用のTips
hankehly
0
840
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.3k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
320
Deferrable Operators入門
hankehly
0
650
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
520
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
310
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
260
システム/データ品質保証のための Airflow 活用法
hankehly
0
610
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
970
Other Decks in Technology
See All in Technology
[VPoE Global Summit] サービスレベル目標による信頼性への投資最適化
satos
0
250
ViteとTypeScriptのProject Referencesで 大規模モノレポのUIカタログのリリースサイクルを高速化する
shuta13
3
210
Dylib Hijacking on macOS: Dead or Alive?
patrickwardle
0
480
Linux カーネルが支えるコンテナの仕組み / LF Japan Community Days 2025 Osaka
tenforward
1
130
AI時代、“平均値”ではいられない
uhyo
8
2.6k
ハノーファーメッセ2025で見た生成AI活用ユースケース.pdf
hamadakoji
1
470
OpenTelemetry が拡げる Gemini CLI の可観測性
phaya72
2
2.3k
RemoteFunctionを使ったコロケーション
mkazutaka
1
120
組織全員で向き合うAI Readyなデータ利活用
gappy50
1
660
ブラウザのAPIで Nintendo Switch用の特殊なゲーム用コントローラーを体験型コンテンツに / IoTLT @ストラタシス・ジャパン
you
PRO
0
140
現場の壁を乗り越えて、 「計装注入」が拓く オブザーバビリティ / Beyond the Field Barriers: Instrumentation Injection and the Future of Observability
aoto
PRO
1
610
AWS re:Invent 2025事前勉強会資料 / AWS re:Invent 2025 pre study meetup
kinunori
0
340
Featured
See All Featured
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
31
2.7k
Learning to Love Humans: Emotional Interface Design
aarron
274
41k
What's in a price? How to price your products and services
michaelherold
246
12k
The Cult of Friendly URLs
andyhume
79
6.6k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.6k
Building Adaptive Systems
keathley
44
2.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
116
20k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Transcript
Fivetranでデータ移動を自動化する 2023/09/27
よろしくお願いします • Hank Ehly(ハンク・イーリー) • Slalom株式会社(スラロム) • Data & Analytics
シニアコンサルタント • https://hankehly.com • https://qiita.com/hankehly • https://github.com/hankehly • https://medium.com/@hankehly • https://www.twitter.com/hankehly • https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です
ビジネスのことはデータで決めたい 勘で決める データで決める
でも、データはあちこちにある とか
全部 Excel に落とせばいい!
全部 Excel に落とせばいい! ダルッ!
Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract
Transform Load 抽出 変換 書き出し
Fivetranの仕組み (ステップ2) データソースのREAD権限 (ステップ1) 格納先のWRITE権限 毎日10時に… (ステップ1∼2は でも管理できる)
(ステップ1)格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK
(ステップ2)データソースのREAD権限 設定方法がとにかく 分かりやすい
ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも?
Fivetranはデータ移動自動化のリーダー的な存在 • 2,000TB/月 • 99.9% アップタイム • コネクタ多数 • 収益がビュンビュン伸びている(2022年50%上がった)
• 様々な賞を獲得している ◦ Google Cloud Global Technology Partner of the Year ◦ Snowflake Data Integration Partner of the Year ◦ Databricks Data Ingestion Partner of the Year 参考:Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
• お金の節約にもなれる ◦ エンジニアの工数削減 Fivetranはすべてが自動化されている • 時間の節約 ◦ 実装/メンテナンス不要 ◦
エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話
Fivetranはコネクタが多い • 389(2023/09/26現在) • 種類 ◦ アプリケーション ◦ DB ◦
ファイル ◦ イベント ◦ 関数 • カスタムコネクタ ◦ (Lambda、Cloud Functionsで実装しないと いけないけど)
Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124
ABC IL 1 データ匿名化(Hash化) 変更のトラッキング (SCD タイプ2) モデル化 超便利!
Pipeline as a Service ツールを試してみよう!
Slalom(スラロム) フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験(Slalom vs USA平均) 「いいな」と思うところ 1. いろんな案件に携わられる 2.
英語も日本語も使える 3. モダンなテクノロジー(日本の DXに貢献) 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo
ご清聴ありがとうございます