Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

Azure Data Factory Data Mapping Flow を使ってみた

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
Avatar for Yoppi Yoppi
July 06, 2019
Technology
780
0

Azure Data Factory Data Mapping Flow を使ってみた

第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。

Avatar for Yoppi

Yoppi

July 06, 2019

Other Decks in Technology

See All in Technology
銀行勘定系システムにおける開発プロセス刷新×AIによる環境モダナイゼーション / Development Process Transformation and AI-Driven Environment Modernization
Avatar for 三菱UFJインフォメーションテクノロジー株式会社 muit
0
2.2k
アクセスキーこわい やめかたと漏らさない工夫
Avatar for Yuichi Sato sassssan68
1
280
作品が生態系になった ─ Mini Tokyo 3D から世界へ
Avatar for 草薙昭彦 nagix
0
190
aws-iot-platform-architecture-use-cases.pdf
Avatar for Kohei "Max" MATSUSHITA ma2shita
0
190
20260912_スクフェス三河
Avatar for hikari kgnkhkr
0
380
空間オーディオで過去の 自分（ゴースト）と競うランニング 〜HealthKitのルートを足音に変える実装〜
Avatar for Nao-RandD nao_randd
0
220
Deployment の 先にある AI Agent 基盤 - kagent vNext、Agent Substrate、Hermes から読み解く Agent Runtime の現在地 / k8s-matsuri-2-ai-agent-platform-amsy810
Avatar for Masaya Aoyama (@amsy810) masayaaoyama
3
580
新機種発売前に見直そう！端末移行で再ログインが要るアプリ・要らないアプリは何が違うのか 〜シームレスに再開できる設計と実装〜
Avatar for ZOZO Developers zozotech
PRO
0
200
登壇の自信を奪う3匹のオバケ / 3 Ghosts That Rob You of Your Confidence in Public Speaking
Avatar for Pauli pauli
8
950
ソフトウェアDNAとクラウドエージェントのススメ
Avatar for Cloud Ace cloudace
0
110
積み重なった技術負債への挑戦 〜初手としての全社ゴト化〜
Avatar for PERSOL CAREER Dev | techtekt techtekt
PRO
0
1.2k
日経電子版を支えていく Kasane Design System/fec_fukuoka
Avatar for 日本経済新聞社 エンジニア採用事務局 nikkei_engineer_recruiting
0
1.6k

Featured

See All Featured
Designing for Timeless Needs
Avatar for Cassini Nazir cassininazir
1
480
Efficient Content Optimization with Google Search Console & Apps Script
Avatar for Katarina Dahlin katarinadahlin
PRO
1
850
Mozcon NYC 2025: Stop Losing SEO Traffic
Avatar for Sam Torres samtorres
1
540
エンジニアに許された特別な時間の終わり
Avatar for watany watany
109
250k
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
Embracing the Ebb and Flow
Avatar for Simon Collison colly
88
5.2k
StorybookのUI Testing Handbookを読んだ
Avatar for Shingo Yamazaki zakiyama
31
6.9k
Odyssey Design
Avatar for Ryan Kendrick rkendrick25
PRO
2
810
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
270
14k
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
790
250k
How to Talk to Developers About Accessibility
Avatar for Jason CranfordTeague jct
2
550
SEO for Brand Visibility & Recognition
Avatar for Aleyda Solis aleyda
0
4.7k

Transcript

  1. Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会＠品川 2019/07/06

    Yoppi

  2. Azure Data Factory （ADF） 使ってますか？

  3. フルマネージドな ETL基盤

  4. データソース Azure Data Factory

  5. Data Factoryでデータ変換したい！（SSIS） https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。

  6. Data Factoryでデータ変換したい！（Function App） Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。

    パイプライン２つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも？ Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん

  7. 違う、そうじゃない

  8. フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい！

  9. Data Mapping Flow（Public Preview）

  10. 用意したデータ 顧客マスタ 購入明細

  11. Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。

  12. 注意点（Data Factory 全般） ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける 　→園児ニアの強い味方！ ・途中セーブができない（パイプラインとして完成していないとダメ） 　→ARM Template Export で凌ぐのはアリ

    ・パイプライン実行中はData Flow内の実行ステータスは見れない

  13. 注意点（Mapping Data Flowについて） ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない 　→DataLake Storage, SQL

    Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる（一時間¥150くらい）

  14. Fin ありがとうございました