Pro Yearly is on sale from $80 to $50! »

Azure Data Factory Data Mapping Flow を使ってみた

C7f97eb6e3ec4d3af029097ad9f2e24c?s=47 Yoppi
July 06, 2019

Azure Data Factory Data Mapping Flow を使ってみた

第三十五回 Azureもくもく会 @ 品川でのLT発表資料です。

C7f97eb6e3ec4d3af029097ad9f2e24c?s=128

Yoppi

July 06, 2019
Tweet

Transcript

  1. Azure Data Factory Mapping Data Flow を使ってみた 第三十五回 Azureもくもく会@品川 2019/07/06

    Yoppi
  2. Azure Data Factory (ADF) 使ってますか?

  3. フルマネージドな ETL基盤

  4. データソース Azure Data Factory

  5. Data Factoryでデータ変換したい!(SSIS) https://azure.microsoft.com/en-in/blog/lift-sql-server-integration-services-packages-to-azure-with-azure-data-factory/ うーん、難しい。もっとお手軽にやりたい。

  6. Data Factoryでデータ変換したい!(Function App) Copy Activity なんか 他の処理 そんな難しくない データ処理関数 こいつ、非同期で動くぞ。。。

    パイプライン2つに分けて、パイプライン実行を FunctionからRESTで叩けばいけるかも? Service Busとの統合がほしいなぁ。。。 そもそもLogic Appsでいいじゃん
  7. 違う、そうじゃない

  8. フルマネージドな ETL基盤 ⇓ 全部ADFで完結したい!

  9. Data Mapping Flow(Public Preview)

  10. 用意したデータ 顧客マスタ 購入明細

  11. Demo Time Select, Join, Exist, Aggregateあたりのよく使いそうな処理に ついて実画面を見せながら説明しました。 また、Blobとして出力して、別パイプラインに連携して Cosmos DBにUpsertするところまでを実装しました。

  12. 注意点(Data Factory 全般) ・基本的にはUIからポチポチだけでたまにドキュメント見るくらいでいける  →園児ニアの強い味方! ・途中セーブができない(パイプラインとして完成していないとダメ)  →ARM Template Export で凌ぐのはアリ

    ・パイプライン実行中はData Flow内の実行ステータスは見れない
  13. 注意点(Mapping Data Flowについて) ・データソースのフォーマットが作業中にリセットされることがある ・Data FlowのSinkとしてCosmos DBを選択できない  →DataLake Storage, SQL

    Database は可能 ・ファイル名の指定はデバッグモードでは動かない ・デバッグモードでもDatabrics分のお金がかかる(一時間¥150くらい)
  14. Fin ありがとうございました