Azure Data Factory Data Mapping Flow を使ってみた

第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。

Transcript

1. Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会＠品川 2019/07/06 Yoppi
2. Azure Data Factory （ADF） 使ってますか？
3. フルマネージドな ETL基盤
4. データソース Azure Data Factory
5. Data Factoryでデータ変換したい！（SSIS） https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。
6. Data Factoryでデータ変換したい！（Function App） Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。 パイプライン２つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも？ Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
7. 違う、そうじゃない
8. フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい！
9. Data Mapping Flow（Public Preview）
10. 用意したデータ 顧客マスタ 購入明細
11. Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。
12. 注意点（Data Factory 全般） ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける 　→園児ニアの強い味方！ ・途中セーブができない（パイプラインとして完成していないとダメ） 　→ARM Template Export で凌ぐのはアリ ・パイプライン実行中はData Flow内の実行ステータスは見れない
13. 注意点（Mapping Data Flowについて） ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない 　→DataLake Storage, SQL Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる（一時間¥150くらい）
14. Fin ありがとうございました