Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Data Factory Data Mapping Flow を使ってみた
Search
Yoppi
July 06, 2019
Technology
0
750
Azure Data Factory Data Mapping Flow を使ってみた
第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。
Yoppi
July 06, 2019
Tweet
Share
Other Decks in Technology
See All in Technology
コンテキストエンジニアリング入門〜AI Coding Agent作りで学ぶ文脈設計〜
kworkdev
PRO
0
130
生成AIとM5Stack / M5 Japan Tour 2025 Autumn 東京
you
PRO
0
250
CoRL 2025 Survey
harukiabe
0
130
やる気のない自分との向き合い方/How to Deal with Your Unmotivated Self
sanogemaru
0
470
ユーザーの声とAI検証で進める、プロダクトディスカバリー
sansantech
PRO
1
130
カンファレンスに託児サポートがあるということ / Having Childcare Support at Conferences
nobu09
1
530
新規事業におけるGORM+SQLx併用アーキテクチャ
hacomono
PRO
0
170
リセラー企業のテクサポ担当が考える、生成 AI 時代のトラブルシュート 2025
kazzpapa3
1
150
ガバメントクラウドの概要と自治体事例(名古屋市)
techniczna
2
230
Modern_Data_Stack最新動向クイズ_買収_AI_激動の2025年_.pdf
sagara
0
240
BI ツールはもういらない?Amazon RedShift & MCP Server で試みる新しいデータ分析アプローチ
cdataj
0
100
LLM時代にデータエンジニアの役割はどう変わるか?
ikkimiyazaki
6
1.2k
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
75
5k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Navigating Team Friction
lara
190
15k
Music & Morning Musume
bryan
46
6.8k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Designing for humans not robots
tammielis
254
26k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
The Invisible Side of Design
smashingmag
302
51k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Rails Girls Zürich Keynote
gr2m
95
14k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.7k
Transcript
Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会@品川 2019/07/06
Yoppi
Azure Data Factory (ADF) 使ってますか?
フルマネージドな ETL基盤
データソース Azure Data Factory
Data Factoryでデータ変換したい!(SSIS) https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。
Data Factoryでデータ変換したい!(Function App) Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。
パイプライン2つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも? Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
違う、そうじゃない
フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい!
Data Mapping Flow(Public Preview)
用意したデータ 顧客マスタ 購入明細
Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。
注意点(Data Factory 全般) ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける →園児ニアの強い味方! ・途中セーブができない(パイプラインとして完成していないとダメ) →ARM Template Export で凌ぐのはアリ
・パイプライン実行中はData Flow内の実行ステータスは見れない
注意点(Mapping Data Flowについて) ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない →DataLake Storage, SQL
Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる(一時間¥150くらい)
Fin ありがとうございました