Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Azure Data Factory Data Mapping Flow を使ってみた
Search
Yoppi
July 06, 2019
Technology
0
750
Azure Data Factory Data Mapping Flow を使ってみた
第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。
Yoppi
July 06, 2019
Tweet
Share
Other Decks in Technology
See All in Technology
これがLambdaレス時代のChatOpsだ!実例で学ぶAmazon Q Developerカスタムアクション活用法
iwamot
PRO
8
1.1k
AWS Control Tower に学ぶ! IAM Identity Center 権限設計の第一歩 / IAM Identity Center with Control Tower
y___u
1
250
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
なぜAWSを活かしきれないのか?技術と組織への処方箋
nrinetcom
PRO
5
1k
WEBサービスを成り立たせるAWSサービス
takano0131
1
190
AWSでAgentic AIを開発するための前提知識の整理
nasuvitz
2
220
20251014_Pythonを実務で徹底的に使いこなした話
ippei0923
0
220
ニッポンの人に知ってもらいたいGISスポット
sakaik
0
180
All About Sansan – for New Global Engineers
sansan33
PRO
1
1.2k
衛星画像超解像化によって実現する2D, 3D空間情報の即時生成と“AI as a Service”/ Real-time generation spatial data enabled_by satellite image super-resolution
lehupa
0
190
LLMプロダクトの信頼性を上げるには?LLM Observabilityによる、対話型音声AIアプリケーションの安定運用
ivry_presentationmaterials
0
660
[VPoE Global Summit] サービスレベル目標による信頼性への投資最適化
satos
0
150
Featured
See All Featured
Gamification - CAS2011
davidbonilla
81
5.5k
Side Projects
sachag
455
43k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
190
55k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Automating Front-end Workflow
addyosmani
1371
200k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Facilitating Awesome Meetings
lara
56
6.6k
4 Signs Your Business is Dying
shpigford
185
22k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Embracing the Ebb and Flow
colly
88
4.9k
Transcript
Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会@品川 2019/07/06
Yoppi
Azure Data Factory (ADF) 使ってますか?
フルマネージドな ETL基盤
データソース Azure Data Factory
Data Factoryでデータ変換したい!(SSIS) https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。
Data Factoryでデータ変換したい!(Function App) Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。
パイプライン2つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも? Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
違う、そうじゃない
フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい!
Data Mapping Flow(Public Preview)
用意したデータ 顧客マスタ 購入明細
Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。
注意点(Data Factory 全般) ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける →園児ニアの強い味方! ・途中セーブができない(パイプラインとして完成していないとダメ) →ARM Template Export で凌ぐのはアリ
・パイプライン実行中はData Flow内の実行ステータスは見れない
注意点(Mapping Data Flowについて) ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない →DataLake Storage, SQL
Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる(一時間¥150くらい)
Fin ありがとうございました