Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Data Factory Data Mapping Flow を使ってみた
Search
Yoppi
July 06, 2019
Technology
0
750
Azure Data Factory Data Mapping Flow を使ってみた
第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。
Yoppi
July 06, 2019
Tweet
Share
Other Decks in Technology
See All in Technology
AWSを利用する上で知っておきたい名前解決のはなし(10分版)
nagisa53
10
3k
バッチ処理で悩むバックエンドエンジニアに捧げるAWS Glue入門
diggymo
3
200
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
170
OCI Oracle Database Services新機能アップデート(2025/06-2025/08)
oracle4engineer
PRO
0
110
エラーとアクセシビリティ
schktjm
1
1.2k
バイブスに「型」を!Kent Beckに学ぶ、AI時代のテスト駆動開発
amixedcolor
2
540
ZOZOマッチのアーキテクチャと技術構成
zozotech
PRO
3
1.5k
DevIO2025_継続的なサービス開発のための技術的意思決定のポイント / how-to-tech-decision-makaing-devio2025
nologyance
1
380
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
140
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
21
10k
ハードウェアとソフトウェアをつなぐ全てを内製している企業の E2E テストの作り方 / How to create E2E tests for a company that builds everything connecting hardware and software in-house
bitkey
PRO
1
120
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
150
Featured
See All Featured
The Art of Programming - Codeland 2020
erikaheidi
56
13k
A Modern Web Designer's Workflow
chriscoyier
696
190k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Optimising Largest Contentful Paint
csswizardry
37
3.4k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
810
What's in a price? How to price your products and services
michaelherold
246
12k
How STYLIGHT went responsive
nonsquared
100
5.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
112
20k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.1k
Building an army of robots
kneath
306
46k
Making Projects Easy
brettharned
117
6.4k
Transcript
Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会@品川 2019/07/06
Yoppi
Azure Data Factory (ADF) 使ってますか?
フルマネージドな ETL基盤
データソース Azure Data Factory
Data Factoryでデータ変換したい!(SSIS) https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。
Data Factoryでデータ変換したい!(Function App) Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。
パイプライン2つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも? Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
違う、そうじゃない
フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい!
Data Mapping Flow(Public Preview)
用意したデータ 顧客マスタ 購入明細
Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。
注意点(Data Factory 全般) ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける →園児ニアの強い味方! ・途中セーブができない(パイプラインとして完成していないとダメ) →ARM Template Export で凌ぐのはアリ
・パイプライン実行中はData Flow内の実行ステータスは見れない
注意点(Mapping Data Flowについて) ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない →DataLake Storage, SQL
Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる(一時間¥150くらい)
Fin ありがとうございました