Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fivetranでデータ移動を自動化する
Search
Hank Ehly
September 27, 2023
Technology
0
400
Fivetranでデータ移動を自動化する
Hank Ehly
September 27, 2023
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Celeryの紹介と本番運用のTips
hankehly
0
440
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.1k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
190
Deferrable Operators入門
hankehly
0
320
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
340
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
220
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
180
システム/データ品質保証のための Airflow 活用法
hankehly
0
470
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
790
Other Decks in Technology
See All in Technology
EitherT_with_Future
aoiroaoino
1
1k
ビジネスとエンジニアリングを繋ぐプロダクトを中心とした組織づくりの実践
sansantech
PRO
1
170
Datadog を使ったプロダクトとクラウドの セキュリティモニタリング
mrtc0
0
620
contenteditableと向き合う
kikuchikakeru
2
280
より快適なエラーログ監視を目指して
leveragestech
4
1.2k
Evolving DevOps Teams and Flexible Organizational Culture
kakehashi
1
250
DroidKaigi 2024 たすけて!ViewModel
mhidaka
5
540
Swift Testingのconfirmationを コードリーディング/Dive into Swift Testing confirmation
laprasdrum
1
220
技術ブログや登壇資料を秒で作るコツ伝授します
minorun365
PRO
23
5.4k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
3.2k
Fediverse Discovery Providers overview
andypiper
0
110
App Router を実プロダクトで採用して見えてきた勘所をちょっとだけ紹介
marokanatani
1
840
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
128
8.8k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
24
600
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
225
22k
No one is an island. Learnings from fostering a developers community.
thoeni
18
2.9k
The Pragmatic Product Professional
lauravandoore
31
6.2k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
663
120k
Web Components: a chance to create the future
zenorocha
308
41k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
Transcript
Fivetranでデータ移動を自動化する 2023/09/27
よろしくお願いします • Hank Ehly(ハンク・イーリー) • Slalom株式会社(スラロム) • Data & Analytics
シニアコンサルタント • https://hankehly.com • https://qiita.com/hankehly • https://github.com/hankehly • https://medium.com/@hankehly • https://www.twitter.com/hankehly • https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です
ビジネスのことはデータで決めたい 勘で決める データで決める
でも、データはあちこちにある とか
全部 Excel に落とせばいい!
全部 Excel に落とせばいい! ダルッ!
Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract
Transform Load 抽出 変換 書き出し
Fivetranの仕組み (ステップ2) データソースのREAD権限 (ステップ1) 格納先のWRITE権限 毎日10時に… (ステップ1∼2は でも管理できる)
(ステップ1)格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK
(ステップ2)データソースのREAD権限 設定方法がとにかく 分かりやすい
ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも?
Fivetranはデータ移動自動化のリーダー的な存在 • 2,000TB/月 • 99.9% アップタイム • コネクタ多数 • 収益がビュンビュン伸びている(2022年50%上がった)
• 様々な賞を獲得している ◦ Google Cloud Global Technology Partner of the Year ◦ Snowflake Data Integration Partner of the Year ◦ Databricks Data Ingestion Partner of the Year 参考:Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
• お金の節約にもなれる ◦ エンジニアの工数削減 Fivetranはすべてが自動化されている • 時間の節約 ◦ 実装/メンテナンス不要 ◦
エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話
Fivetranはコネクタが多い • 389(2023/09/26現在) • 種類 ◦ アプリケーション ◦ DB ◦
ファイル ◦ イベント ◦ 関数 • カスタムコネクタ ◦ (Lambda、Cloud Functionsで実装しないと いけないけど)
Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124
ABC IL 1 データ匿名化(Hash化) 変更のトラッキング (SCD タイプ2) モデル化 超便利!
Pipeline as a Service ツールを試してみよう!
Slalom(スラロム) フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験(Slalom vs USA平均) 「いいな」と思うところ 1. いろんな案件に携わられる 2.
英語も日本語も使える 3. モダンなテクノロジー(日本の DXに貢献) 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo
ご清聴ありがとうございます