Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会＠品川 2019/07/06 Yoppi

Azure Data Factory （ADF） 使ってますか？

フルマネージドな ETL基盤

データソース Azure Data Factory

Data Factoryでデータ変換したい！（SSIS） https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。

Data Factoryでデータ変換したい！（Function App） Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。 パイプライン２つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも？ Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん

違う、そうじゃない

フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい！

Data Mapping Flow（Public Preview）

用意したデータ 顧客マスタ 購入明細

Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。

注意点（Data Factory 全般） ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける 　→園児ニアの強い味方！ ・途中セーブができない（パイプラインとして完成していないとダメ） 　→ARM Template Export で凌ぐのはアリ ・パイプライン実行中はData Flow内の実行ステータスは見れない

注意点（Mapping Data Flowについて） ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない 　→DataLake Storage, SQL Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる（一時間¥150くらい）

Fin ありがとうございました