Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fivetranでデータ移動を自動化する
Search
Hank Ehly
September 27, 2023
Technology
0
300
Fivetranでデータ移動を自動化する
Hank Ehly
September 27, 2023
Tweet
Share
More Decks by Hank Ehly
See All by Hank Ehly
Celeryの紹介と本番運用のTips
hankehly
0
160
ChatGPTを活用した 便利ツールの紹介
hankehly
1
1k
Efficient Energy Analytics with Airflow, Spark, and MLFlow
hankehly
0
150
Deferrable Operators入門
hankehly
0
220
【初心者/ハンズオン】Dockerコンテナの基礎知識
hankehly
0
270
Compositeパターン: オブジェクトの階層関係をエレガントに表現する方法
hankehly
0
150
10/29 Airflowの基礎を学ぶハンズオンワークショップ
hankehly
0
160
システム/データ品質保証のための Airflow 活用法
hankehly
0
430
海外の記事からコードレビューのBest Practiceを集めてみました
hankehly
0
700
Other Decks in Technology
See All in Technology
Building a RAG-poweredAI chat appwith Python and VS Code
pamelafox
0
140
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
670
DMM.com アルファ室採用案内資料
hsugita
1
210
JSON攻略法.pdf
miyakemito
8
5.2k
Autonomous Database Cloud 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
14
35k
MapLibreとAmazon Location Service
dayjournal
1
170
Handling focus in 2024
tahia910
0
200
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
4
610
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
3
620
BPStudyの200回を中心にIT業界を振り返る。そしてこれから
haru860
3
390
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
130
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
2
140
Featured
See All Featured
Creatively Recalculating Your Daily Design Routine
revolveconf
211
11k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
11
1k
Into the Great Unknown - MozCon
thekraken
14
1k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
For a Future-Friendly Web
brad_frost
172
9k
Become a Pro
speakerdeck
PRO
12
4.6k
Product Roadmaps are Hard
iamctodd
45
9.7k
Making the Leap to Tech Lead
cromwellryan
125
8.5k
How to name files
jennybc
65
93k
How GitHub (no longer) Works
holman
305
140k
Transcript
Fivetranでデータ移動を自動化する 2023/09/27
よろしくお願いします • Hank Ehly(ハンク・イーリー) • Slalom株式会社(スラロム) • Data & Analytics
シニアコンサルタント • https://hankehly.com • https://qiita.com/hankehly • https://github.com/hankehly • https://medium.com/@hankehly • https://www.twitter.com/hankehly • https://www.linkedin.com/in/hankehly ※本日の発表内容は発表者の主観です
ビジネスのことはデータで決めたい 勘で決める データで決める
でも、データはあちこちにある とか
全部 Excel に落とせばいい!
全部 Excel に落とせばいい! ダルッ!
Pipeline as a Service E(T)L ツール 今日の話 ETL = Extract
Transform Load 抽出 変換 書き出し
Fivetranの仕組み (ステップ2) データソースのREAD権限 (ステップ1) 格納先のWRITE権限 毎日10時に… (ステップ1∼2は でも管理できる)
(ステップ1)格納先のWRITE権限 BQ側の設定手順 これだけ記入 すればOK
(ステップ2)データソースのREAD権限 設定方法がとにかく 分かりやすい
ステータス確認・ON/OFF はダッシュボードで 実行アラート/ 一時停止 実行ログ・ス テータス情報 自分のロギングシステム に接続することも?
Fivetranはデータ移動自動化のリーダー的な存在 • 2,000TB/月 • 99.9% アップタイム • コネクタ多数 • 収益がビュンビュン伸びている(2022年50%上がった)
• 様々な賞を獲得している ◦ Google Cloud Global Technology Partner of the Year ◦ Snowflake Data Integration Partner of the Year ◦ Databricks Data Ingestion Partner of the Year 参考:Fivetran Extends Growth Streak; Surpasses $200 Million Revenue Run Rate Milestone
• お金の節約にもなれる ◦ エンジニアの工数削減 Fivetranはすべてが自動化されている • 時間の節約 ◦ 実装/メンテナンス不要 ◦
エンジニアへの依存度が低い Fivetranを使わなかったらBIチー ムの人数を2倍にしないといけな い話
Fivetranはコネクタが多い • 389(2023/09/26現在) • 種類 ◦ アプリケーション ◦ DB ◦
ファイル ◦ イベント ◦ 関数 • カスタムコネクタ ◦ (Lambda、Cloud Functionsで実装しないと いけないけど)
Fivetranは色々と便利な機能がある _Key Supplier_Code Supplier_State Version 123 ABC CA 0 124
ABC IL 1 データ匿名化(Hash化) 変更のトラッキング (SCD タイプ2) モデル化 超便利!
Pipeline as a Service ツールを試してみよう!
Slalom(スラロム) フォーチュン誌の「働きがいのある会社ベ スト100」に8年連続で選出 従業員体験(Slalom vs USA平均) 「いいな」と思うところ 1. いろんな案件に携わられる 2.
英語も日本語も使える 3. モダンなテクノロジー(日本の DXに貢献) 4. ワークライフバランスがいい https://www.slalom.com/ja/locations/tokyo
ご清聴ありがとうございます