Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Data Factory Data Mapping Flow を使ってみた
Search
Yoppi
July 06, 2019
Technology
0
590
Azure Data Factory Data Mapping Flow を使ってみた
第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。
Yoppi
July 06, 2019
Tweet
Share
Other Decks in Technology
See All in Technology
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
160
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
150
JAWS-UG Bedrock Claude Night
yamahiro
3
570
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.9k
20分で完全に理解するGrafanaダッシュボード
hamadakoji
3
430
DevOpsメトリクスとアウトカムの接続にトライ!開発プロセスを通して計測できるメトリクスの活用方法
ham0215
2
240
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
510
Databricks における 『MLOps』
databricksjapan
2
170
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
EMとして2023年度に頑張ったこと / What we did well in FY2023 as a EM
pauli
1
170
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
1
120
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
0
230
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
21
1.6k
Building a Modern Day E-commerce SEO Strategy
aleyda
17
6.4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
14
1.5k
No one is an island. Learnings from fostering a developers community.
thoeni
16
2.1k
Typedesign – Prime Four
hannesfritz
36
2.1k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
The Invisible Side of Design
smashingmag
294
49k
Rebuilding a faster, lazier Slack
samanthasiow
73
8.2k
Being A Developer After 40
akosma
57
580k
Building Effective Engineering Teams - LeadDev
addyosmani
28
1.8k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
14
1.6k
Facilitating Awesome Meetings
lara
42
5.6k
Transcript
Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会@品川 2019/07/06
Yoppi
Azure Data Factory (ADF) 使ってますか?
フルマネージドな ETL基盤
データソース Azure Data Factory
Data Factoryでデータ変換したい!(SSIS) https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。
Data Factoryでデータ変換したい!(Function App) Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。
パイプライン2つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも? Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
違う、そうじゃない
フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい!
Data Mapping Flow(Public Preview)
用意したデータ 顧客マスタ 購入明細
Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。
注意点(Data Factory 全般) ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける →園児ニアの強い味方! ・途中セーブができない(パイプラインとして完成していないとダメ) →ARM Template Export で凌ぐのはアリ
・パイプライン実行中はData Flow内の実行ステータスは見れない
注意点(Mapping Data Flowについて) ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない →DataLake Storage, SQL
Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる(一時間¥150くらい)
Fin ありがとうございました