Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Azure Data Factory Data Mapping Flow を使ってみた
Yoppi
July 06, 2019
Technology
0
460
Azure Data Factory Data Mapping Flow を使ってみた
第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。
Yoppi
July 06, 2019
Tweet
Share
Other Decks in Technology
See All in Technology
Adopting Kafka for the #1 job site in the world
ymyzk
1
740
統計学と機械学習の違いと接点とは?
ueniki
0
110
LINEスタンプの実例紹介 小さく始める障害検知・対応・振り返りの 改善プラクティス
line_developers
PRO
3
1.9k
[AKIBA.AWS] それ、t2.micro選んで大丈夫?
tsukuboshi
0
380
LINE WORKS API 2.0について
mmclsntr
0
140
5分で完全理解するGoのiota
uji
3
2.1k
Oracle Database Technology Night #55 Oracle Autonomous Database 再入門
oracle4engineer
PRO
1
140
ZOZOTOWNのProduction Readiness Checklistと信頼性向上の取り組み / Improvement the reliability of ZOZOTOWN with Production Readiness Checklist
akitok_
5
2k
LIFF Deep Dive 2022
line_developers
PRO
1
750
[SRE NEXT 2022]ヤプリのSREにおけるセキュリティ強化の取り組みを公開する
mmochi23
1
820
Data-Driven Healthcare - Techplay
kotaroito
0
120
Steps toward self-service operations in eureka
fukubaka0825
0
910
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
253
11k
Robots, Beer and Maslow
schacon
152
7.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
151
12k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
315
19k
Keith and Marios Guide to Fast Websites
keithpitt
404
21k
Fireside Chat
paigeccino
11
1.3k
KATA
mclloyd
7
8.6k
Bash Introduction
62gerente
596
210k
Bootstrapping a Software Product
garrettdimon
295
110k
Unsuck your backbone
ammeep
659
55k
Three Pipe Problems
jasonvnalue
89
8.6k
Building Flexible Design Systems
yeseniaperezcruz
310
33k
Transcript
Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会@品川 2019/07/06
Yoppi
Azure Data Factory (ADF) 使ってますか?
フルマネージドな ETL基盤
データソース Azure Data Factory
Data Factoryでデータ変換したい!(SSIS) https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。
Data Factoryでデータ変換したい!(Function App) Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。
パイプライン2つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも? Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
違う、そうじゃない
フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい!
Data Mapping Flow(Public Preview)
用意したデータ 顧客マスタ 購入明細
Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。
注意点(Data Factory 全般) ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける →園児ニアの強い味方! ・途中セーブができない(パイプラインとして完成していないとダメ) →ARM Template Export で凌ぐのはアリ
・パイプライン実行中はData Flow内の実行ステータスは見れない
注意点(Mapping Data Flowについて) ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない →DataLake Storage, SQL
Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる(一時間¥150くらい)
Fin ありがとうございました