Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fivetranでデータ移動を自動化する
Search
Hank Ehly
September 27, 2023
Technology
0
490
Fivetranでデータ移動を自動化する
Hank Ehly
September 27, 2023
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Celeryの紹介と本番運用のTips
hankehly
0
610
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1.2k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
240
Deferrable Operators入門
hankehly
0
460
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
420
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
270
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
220
システム/データ品質保証のための Airflow 活用法
hankehly
0
510
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
870
Other Decks in Technology
See All in Technology
Amazon GuardDuty Malware Protection for Amazon S3のここがすごい!
ryder472
1
120
20250208_OpenAIDeepResearchがやばいという話
doradora09
PRO
0
160
自動テストの世界に、この5年間で起きたこと
autifyhq
4
4.7k
ビジネスと現場活動をつなぐソフトウェアエンジニアリング~とあるスタートアッププロダクトの成長記録より~
mizunori
0
130
Data-centric AI入門第6章:Data-centric AIの実践例
x_ttyszk
1
330
Kubernetesでメールの大量配信をしている話/k8sjp-20250205
hfukamachi
0
370
君も受託系GISエンジニアにならないか
sudataka
0
240
CZII - CryoET Object Identification 参加振り返り・解法共有
tattaka
0
120
AWSでRAGを実現する上で感じた3つの大事なこと
ymae
3
960
Building Products in the LLM Era
ymatsuwitter
7
2k
データの品質が低いと何が困るのか
kzykmyzw
6
950
AndroidデバイスにFTPサーバを建立する
e10dokup
0
220
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1367
200k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.4k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Documentation Writing (for coders)
carmenintech
67
4.6k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Faster Mobile Websites
deanohume
306
31k
How to train your dragon (web standard)
notwaldorf
90
5.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
620
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
For a Future-Friendly Web
brad_frost
176
9.5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
8
260
Transcript
Fivetranでデータ移動を自動化する 2023/09/27
よろしくお願いします • Hank Ehly(ハンク・イーリー) • Slalom株式会社(スラロム) • Data & Analytics
シニアコンサルタント • https://hankehly.com • https://qiita.com/hankehly • https://github.com/hankehly • https://medium.com/@hankehly • https://www.twitter.com/hankehly • https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です
ビジネスのことはデータで決めたい 勘で決める データで決める
でも、データはあちこちにある とか
全部 Excel に落とせばいい!
全部 Excel に落とせばいい! ダルッ!
Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract
Transform Load 抽出 変換 書き出し
Fivetranの仕組み (ステップ2) データソースのREAD権限 (ステップ1) 格納先のWRITE権限 毎日10時に… (ステップ1∼2は でも管理できる)
(ステップ1)格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK
(ステップ2)データソースのREAD権限 設定方法がとにかく 分かりやすい
ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも?
Fivetranはデータ移動自動化のリーダー的な存在 • 2,000TB/月 • 99.9% アップタイム • コネクタ多数 • 収益がビュンビュン伸びている(2022年50%上がった)
• 様々な賞を獲得している ◦ Google Cloud Global Technology Partner of the Year ◦ Snowflake Data Integration Partner of the Year ◦ Databricks Data Ingestion Partner of the Year 参考:Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
• お金の節約にもなれる ◦ エンジニアの工数削減 Fivetranはすべてが自動化されている • 時間の節約 ◦ 実装/メンテナンス不要 ◦
エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話
Fivetranはコネクタが多い • 389(2023/09/26現在) • 種類 ◦ アプリケーション ◦ DB ◦
ファイル ◦ イベント ◦ 関数 • カスタムコネクタ ◦ (Lambda、Cloud Functionsで実装しないと いけないけど)
Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124
ABC IL 1 データ匿名化(Hash化) 変更のトラッキング (SCD タイプ2) モデル化 超便利!
Pipeline as a Service ツールを試してみよう!
Slalom(スラロム) フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験(Slalom vs USA平均) 「いいな」と思うところ 1. いろんな案件に携わられる 2.
英語も日本語も使える 3. モダンなテクノロジー(日本の DXに貢献) 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo
ご清聴ありがとうございます