Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Azure Data Factory private network

Azure Data Factory private network

JSSUG 57th Microsoft Data Platform Day(Online)
Azure Data Factory ネットワークの閉域化 (初級者、中級者)

Hidekazu Sato

August 20, 2022
Tweet

More Decks by Hidekazu Sato

Other Decks in Technology

Transcript

  1. 自己紹介 日本マイクロソフト株式会社 カスタマーサクセス事業本部 データ&クラウドAI アーキテクト統括本部 シニア クラウドソリューション アーキテクト 佐藤 秀和(さとう

    ひでかず) Mail : [email protected] Azure データサービスの導入に関する技術支援を行っています。 2001年にマイクロソフトへ入社以来データベース エンジニアリング一筋。 お客様やパートナー様に、マイクロソフトのデータサービスをより良くご活用いただく ために、日々奮闘中。
  2. (再掲) Azure への移行: 閉域化ネットワークの延伸 Web Apps App Service Express Route

    VM App Service Gateway Azure Firewall Azure Bastion Private Link Private Link NSG で In/Out 通信を 適切に管理 Azure Firewallから外に出す In/Outを可能な限り集約 いったん Hub に引き込む VNETピアリングで Hub / Spoke間をつなぐ Private Link でVNETに PaaSサービスのエンドポイ ントを引き込む パブリックネットワーク からのアクセスを ブロックする SQL Database BLOB Storage
  3. Azure Data Factory のネットワーク閉域化 サブリソース : DataFactory サブリソース : Portal

    開発端末 Subnet Self-Hosted IR Subnet Private Endpoint Subnet Private Link でVNETに PaaSサービスのエンドポイ ントを引き込む パブリックネットワーク からのアクセスを ブロックする Azure リソースへのプライ ベートアクセス を管理 ADFポータルへの プライベートアクセス
  4. 3 つの統合ランタイム Azure Data Factory Service Data Movement & Activity

    Dispatch on- prem, Cloud, VNET Data Movement & Activity Dispatch In Azure Public Network Self-Hosted IR Azure IR Run SSIS packages in Private & VNET Azure-SSIS IR Azure Integration Runtime • クラウドデータソース間のデータコピー を実行する • Data Flows を実行する Self-hosted Integration Runtime • オンプレミスや外部クラウド等のプライ ベートネットワーク内のデータを扱うゲー トウェイ Azure-SSIS Integration Runtime • 既存の SSIS ワークロードを lift and shift し、Azure-SSIS IR 上で SSIS パッケージをネイティブに実行する
  5. Azure IR : クラウド間のデータ連携 各種クラウドサー ビス Databricks Batch Service Functions

    Business Application Data Factory • プライベートネットワークを使用しないクラウドデータソース間では Azure IR が使用される • データのコピー、アクティビティのディスパッチ、Data Flow の実行 Load Azure IR が使用される Office 365 Rest API Azure HDInsight Data Flows
  6. Self-hosted IR : オンプレミス / クラウドのプライベート NW からのデータ収集 オンプレミス NW

    / 外部ク ラウド Synapse Analytics Analysis Services Azure Automation etc Process • Self-hosted IR を使用して、閉じたネットワーク内のデータを安全に取得することが可能 • Self-hosted IR は様々なデータソースに接続することが可能 (https://docs.microsoft.com/ja-jp/azure/data-factory/copy-activity-overview) • Data Factory のアクティビティとして様々なデータ変換ツールを利用可能 (https://docs.microsoft.com/ja-jp/azure/data-factory/transform-data) Parallel loading with PolyBase Azure 内データソース間は Azure IR が使用される Self-hosted IR がオンプレ データを安全にコピー 443/TCP Azure Databricks Batch Service Functions Data Factory HDInsight Data Flows Machine Learning Windows Server にインス トール
  7. サブリソース : DataFactory サブリソース : Portal プライベートアクセス実現時 パイプラインジョブの実行などのやり取りや、ADF ポータル自体へのアクセスは Private

    Endpoint 経由にて可能ですが、 開発時における認証、一部画面コンテンツの取得、およびインタラクティブな操作 (データプレビューなど) などについては Private Endpoint 経由となら ない通信があります https://docs.microsoft.com/ja-jp/azure/data-factory/data-factory-private-link 開発端末 Subnet Self-Hosted IR Subnet Private Endpoint Subnet
  8. マネージド仮想ネットワーク サポートされるデータソース •Azure Blob Storage •Azure Table Storage •Azure Files

    •Azure Data Lake Gen2 •Azure SQL Database (Azure SQL Managed Instance を含まない) •Azure Synapse Analytics •Azure CosmosDB SQL •Azure Key Vault •Azure Private Link サービス •Azure Search •Azure Database for MySQL •Azure Database for PostgreSQL •Azure Database for MariaDB
  9. ネットワーク セキュリティの観点 での Synapse Analytics Pipeline と Data Factory の違い

    サブリソース : DataFactory サブリソース : Portal 開発端末 Subnet Self-Hosted IR Subnet Private Endpoint Subnet グローバル IP による Workspace へのアクセス制限 データ流出保護機能により アクセス制御のない Storage などに対してでも、 NSG によりブロックされるため Managed Endpoint なしでは通信不可
  10. Azure Data Factory 用の Azure Private Link - Azure Data

    Factory | Microsoft Docs マネージド仮想ネットワークとマネージド プライベート エンドポイント - Azure Data Factory | Microsoft Docs Azure Data Factory 用の Azure セキュリティ ベースライン | Microsoft Docs https://www.microsoft.com/ja-jp/events/azurebase/fgcf/?msclkid=63621275c25611ecbe8937c74432d602 https://github.com/nakamacchi/fgcf?msclkid=6362fbb9c25611ec851a1bff8d3bd9f4 Azure Network Security for SQL Server Users (Fundamentals) - Speaker Deck 参考情報
  11. ◼ 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、 ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。 ◼ 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 ◼

    すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段(電子的、 機械的、複写、レコーディング、その他)、および目的であっても禁じられています。 これらは著作権保護された権利を制限するものではありません。 ◼ Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの 特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 © 2021 Microsoft Corporation. All rights reserved. Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。 その他、記載されている会社名および製品名は、一般に各社の商標です。