Azure Data Factory Data Mapping Flow を使ってみた

Transcript

1. Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会＠品川 2019/07/06

   Yoppi

2. Azure Data Factory （ADF） 使ってますか？

3. フルマネージドな ETL基盤

4. データソース Azure Data Factory

5. Data Factoryでデータ変換したい！（SSIS） https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。

6. Data Factoryでデータ変換したい！（Function App） Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。

   パイプライン２つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも？ Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん

7. 違う、そうじゃない

8. フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい！

9. Data Mapping Flow（Public Preview）

10. 用意したデータ 顧客マスタ 購入明細

11. Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。

12. 注意点（Data Factory 全般） ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける 　→園児ニアの強い味方！ ・途中セーブができない（パイプラインとして完成していないとダメ） 　→ARM Template Export で凌ぐのはアリ

    ・パイプライン実行中はData Flow内の実行ステータスは見れない

13. 注意点（Mapping Data Flowについて） ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない 　→DataLake Storage, SQL

    Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる（一時間¥150くらい）

14. Fin ありがとうございました