Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Azure Data Factory Data Mapping Flow を使ってみた

C7f97eb6e3ec4d3af029097ad9f2e24c?s=47 Yoppi
July 06, 2019
Technology
0
460

Azure Data Factory Data Mapping Flow を使ってみた

第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。

C7f97eb6e3ec4d3af029097ad9f2e24c?s=128

Yoppi

July 06, 2019
Tweet

Other Decks in Technology

See All in Technology
Adopting Kafka for the #1 job site in the world
D984cd543d2abef28596cc5cfe82240c?s=48 ymyzk
1
740
統計学と機械学習の違いと接点とは？
76020f2b85928745e24f9b1e017c7c06?s=48 ueniki
0
110
LINEスタンプの実例紹介 小さく始める障害検知・対応・振り返りの 改善プラクティス
A3966f193f4bef226a0d3e3c1f728d7f?s=48 line_developers
PRO
3
1.9k
[AKIBA.AWS] それ、t2.micro選んで大丈夫？
263066383f82fb9a830ff2a748f73af4?s=48 tsukuboshi
0
380
LINE WORKS API 2.0について
1f7f0085220d6e48e5bdbf9b199b847c?s=48 mmclsntr
0
140
5分で完全理解するGoのiota
9c23bec5e8b0aa1d9458d40800987347?s=48 uji
3
2.1k
Oracle Database Technology Night #55 Oracle Autonomous Database 再入門
140494d272a4d89883a94fdfdb29dea2?s=48 oracle4engineer
PRO
1
140
ZOZOTOWNのProduction Readiness Checklistと信頼性向上の取り組み / Improvement the reliability of ZOZOTOWN with Production Readiness Checklist
08672189228a165c14ed8d896f9a4d3a?s=48 akitok_
5
2k
LIFF Deep Dive 2022
A3966f193f4bef226a0d3e3c1f728d7f?s=48 line_developers
PRO
1
750
[SRE NEXT 2022]ヤプリのSREにおけるセキュリティ強化の取り組みを公開する
Ee9f5f5b17a075129d7c48ad157a9ab3?s=48 mmochi23
1
820
Data-Driven Healthcare - Techplay
Bc9f06dc792f2ab663c7bf10326e649e?s=48 kotaroito
0
120
Steps toward self-service operations in eureka
71929a476c581dd754e4e1f355ac07d0?s=48 fukubaka0825
0
910

Featured

See All Featured
Imperfection Machines: The Place of Print at Facebook
7c8469ee8c9e594c65c59b919626c08d?s=48 scottboms
253
11k
Robots, Beer and Maslow
9375a9529679f1b42b567a640d775e7d?s=48 schacon
152
7.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
5b9fe87ec1faa67a4599782930f45ec9?s=48 sstephenson
151
12k
Distributed Sagas: A Protocol for Coordinating Microservices
9128d500301ae51524e887bb680f471d?s=48 caitiem20
315
19k
Keith and Marios Guide to Fast Websites
E14f55d3f939977cecbf51b64ff6f861?s=48 keithpitt
404
21k
Fireside Chat
864a009ac73600c7c02e1f26629dd989?s=48 paigeccino
11
1.3k
KATA
E9221b172e78e888355fa2fe4541b595?s=48 mclloyd
7
8.6k
Bash Introduction
812e1705ff0f8bc1bcf18587bde687d5?s=48 62gerente
596
210k
Bootstrapping a Software Product
A9179349dd2bdc67f377719f56d85656?s=48 garrettdimon
295
110k
Unsuck your backbone
B83d5b590577969ee79a5ad845411a7d?s=48 ammeep
659
55k
Three Pipe Problems
11c84dff30266b907714802088852677?s=48 jasonvnalue
89
8.6k
Building Flexible Design Systems
91cefdf141106fa10674aae74ce05890?s=48 yeseniaperezcruz
310
33k

Transcript

  1. Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会＠品川 2019/07/06

    Yoppi

  2. Azure Data Factory （ADF） 使ってますか？

  3. フルマネージドな ETL基盤

  4. データソース Azure Data Factory

  5. Data Factoryでデータ変換したい！（SSIS） https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。

  6. Data Factoryでデータ変換したい！（Function App） Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。

    パイプライン２つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも？ Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん

  7. 違う、そうじゃない

  8. フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい！

  9. Data Mapping Flow（Public Preview）

  10. 用意したデータ 顧客マスタ 購入明細

  11. Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。

  12. 注意点（Data Factory 全般） ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける 　→園児ニアの強い味方！ ・途中セーブができない（パイプラインとして完成していないとダメ） 　→ARM Template Export で凌ぐのはアリ

    ・パイプライン実行中はData Flow内の実行ステータスは見れない

  13. 注意点（Mapping Data Flowについて） ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない 　→DataLake Storage, SQL

    Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる（一時間¥150くらい）

  14. Fin ありがとうございました