Azure Databricks Learning Series #3 - Network Design

Azure Databricks Learning Series ~ #3 : ネットワーク設計 ~

Transcript

1. Azure Databricks Learning Series ~ #3: ネットワーク設計 ~
2. スピーカー Hiroyuki Nakazato / 中里 浩之 日本マイクロソフト株式会社 カスタマーサクセス事業本部 クラウド ソリューション アーキテクト 経歴  SIer でビッグ データ案件を中心に担当  通信事業者のサーバーサイド & データ エンジニア  Azure の データ & 分析を専門とするアーキテクト  Databricks Champion (Since 2022) @hiroyuki-nakazato @nakazax
3. セッションのゴール Azure Databricks (ADB) のネットワーク設計の理解を深める 設計にあたっての知識が不足  Azure の仮想ネットワークとは？  ADB のネットワーク関連のセキュリティには どのような機能がある？  各機能をどのように組み合わせれば良い？ 設計のポイントがよく分かる  仮想ネットワークと ADB のネットワーク関連の セキュリティ機能の特長が分かる  自組織のニーズに合致したネットワーク設計が できる 本日の セッション
4. アジェンダ 1. Azure ネットワーク サービス概要 2. マネージド データ ストアの閉域構成化 3. Azure Databricks (ADB) の用語の確認 4. ADB のネットワーク関連セキュリティ機能 5. ネットワーク環境設定のデモ
5. Azure Databricks のネットワークを設計する上で 必要な Azure のネットワーク サービスの概要を解説 Azure ネットワーク サービス概要
6. この章の目的 • Azure Databricks のクラスターはユーザーが管理する Azure サブスクリプションの 仮想ネットワーク = Azure Virtual Network (略称 VNet) 内で動作する • VNet を基盤として様々な Azure ネットワーク サービス・機能が存在する Azure Databricks のネットワーク設計にあたって 押さえておきたい Azure ネットワーク サービスの概要を学ぶ VNet1 VNet2 ExpressRoute オンプレミス データ センター Azure Databricks クラスター VNet ピアリング プライベート エンドポイント
7. Azure ネットワーク サービスの全体像 ネットワークの 基盤 ネットワーク インフラの 構築と監視 • Azure Virtual Network • Azure Private Link • Azure DNS • Internet facing • Network monitoring Microsoft グローバル ネットワーク ハイブリッド 接続 オンプレミス環境と クラウドを接続 • Azure ExpressRoute • Azure VPN Gateway • Azure Virtual WAN ネットワーク セキュリティ ネットワーク インフラと アプリを保護 • Azure Firewall • Azure DDoS Protection • Azure Web Application Firewall • Azure Bastion アプリケーション 配信 世界中のユーザーに コンテンツとアプリを配信 • Azure Front Door • Azure load balancing • Azure Traffic Manager 5G & エッジ コンピューティング エッジ コンピューティング プラット フォームとアプリを実現 • Azure private multi- access edge compute (MEC) • Azure Network Function Manager
8. Azure ネットワーク サービスの全体像 ネットワークの 基盤 ネットワーク インフラの 構築と監視 • Azure Virtual Network • Azure Private Link • Azure DNS • Internet facing • Network monitoring Microsoft グローバル ネットワーク ハイブリッド 接続 オンプレミス環境と クラウドを接続 • Azure ExpressRoute • Azure VPN Gateway • Azure Virtual WAN ネットワーク セキュリティ ネットワーク インフラと アプリを保護 • Azure Firewall • Azure DDoS Protection • Azure Web Application Firewall • Azure Bastion アプリケーション 配信 世界中のユーザーに コンテンツとアプリを配信 • Azure Front Door • Azure load balancing • Azure Traffic Manager 5G & エッジ コンピューティング エッジ コンピューティング プラット フォームとアプリを実現 • Azure private multi- access edge compute (MEC) • Azure Network Function Manager
9. Azure Virtual Network (VNet) Azure 内のプライベートなネットワークの 基本的な構成要素 他のネットワークと論理的に分離されたユーザー専用の プライベートな仮想ネットワークを Azure 上に構築できる • VNet は 1 つまたは複数のアドレス空間で構成できる • サブネットによりアドレス空間をセグメント分割できる • サブネットに仮想マシンなどをデプロイするとネットワーク インターフェイス (NIC) とプライベート IP アドレスが割り 当てられる • サブネットまたは NIC に Network Security Group (NSG) を関連付けることで VNet 内リソースの送受信 ネットワーク トラフィックをフィルター処理できる Network Security Group (NSG) Action Name Source Destination Port Allow WebRule Internet WebServers 80,443(HTTP) Allow AppRule1 Web1 App1 443 (HTTPS) Allow DbRule1 App1 Db1 1443 (MSSQL) Allow AppRule2 Web2 App2 443 (HTTPS) Allow DbRule2 App2 Db2 1443 (MSSQL) Deny Deny all inbound Any Any Any https://learn.microsoft.com/ja-jp/azure/virtual-network/virtual-networks-overview https://learn.microsoft.com/ja-jp/azure/virtual-network/virtual-networks-udr-overview
10. Azure Virtual Network Peering (VNet ピアリング) Azure 上の VNet 同士を 安全かつ広帯域で接続できる 同じリージョン内の VNet 同士、異なるリージョン間の VNet 同士 (グローバル VNet ピアリング) を接続できる • トラフィックは Microsoft のプライベートなバックボーン ネットワークを通るため安全かつ広帯域な接続が可能 • 異なる Azure サブスクリプションの VNet 同士も ピアリング可能 (異なる Azure Active Directory に 属するサブスクリプションでも OK) • ハブ アンド スポーク型のネットワーク構成に利用 • 考慮事項：アドレス空間が重複する VNet 同士の ピアリングは不可 / 推移的なピアリングは非サポート / ピアリングを通る送受信トラフィックに料金が発生 https://learn.microsoft.com/ja-jp/azure/virtual-network/virtual-network-peering-overview https://learn.microsoft.com/ja-jp/azure/virtual-network/virtual-networks-faq#vnet-peering
11. Azure VPN Gateway オンプレミスと Azure 上の VNet の間で インターネット経由での暗号化通信を実現 VNet に VPN Gateway をデプロイし構成することで サイト間、ポイント対サイト、VNet 間 VPN 接続が可能 • 複数のプラットフォーム、プロトコル、認証メカニズムを サポート • 一度設定すれば複数のリソースにアクセス可能 • オンプレミスの VPN を Azure に接続して拡張 • サイト間：IPsec/IKE VPN トンネル接続 • ポイント対サイト：OpenVPN / IKEv2 / SSTP 経由 • 99.9% アップタイム SLA https://learn.microsoft.com/ja-jp/azure/vpn-gateway/vpn-gateway-about-vpngateways Internet Site 2 Site VPN-connected Site 2 Site VPN-connected Point-2 site users Microsoft backbone Spoke Spoke Hub Internet edge Internet edge Internet edge Azure region VPN gateway
12. Azure ExpressRoute オンプレミスと Azure 間で高速かつ 信頼性の高いプライベートな接続を実現 接続プロバイダーが提供するプライベート接続を介して オンプレミスやコロケーション環境のネットワークを Microsoft ネットワークに拡張できる • パブリック インターネットを経由しないため一般的な インターネット接続よりも高信頼、高速、低遅延 • 100 社以上の接続プロバイダーの回線を介した接続に 加えて、ExpressRoute ロケーションにおいて Azure に 直接光ファイバー ケーブルで接続する ExpressRoute Direct が利用可能 • 通常は 50 Mbps - 10 Gbps の帯域幅を選択可能、 ExpressRoute Direct は最大 100 Gbps をサポート • 99.95% のアップタイム SLA (オンプレミスと Azure の 間でアクティブ/アクティブ接続が構成されている場合) https://learn.microsoft.com/ja-jp/azure/expressroute/expressroute-introduction https://atbex.attokyo.co.jp/blog/detail/28/
13. Azure Private DNS 仮想ネットワークのための信頼性が高く 安全なプライベート DNS サービス 1 つまたは複数の VNet にリンクすることで VNet 内から 任意のプライベート ドメインを使った名前解決を行える • リンクされた VNet 内からのみ名前解決が可能で、 インターネットには公開されない • 自前での DNS ソリューションの作成と管理が不要 • すべての一般的な DNS レコードの種類が利用可能 (A / AAAA / CNAME / MX / PTR / SOA / SRV / TXT) • PaaS サービスの閉域化ソリューションである Azure Private Link では Azure プライベート DNS を用いた 名前解決が既定 https://learn.microsoft.com/ja-jp/azure/dns/private-dns-overview
14. Azure DNS Private Resolver DNS 条件付きフォワーダー機能を提供する マネージド サービス オンプレミスから Azure Private DNS での名前解決 (また はその逆) を行う場合、これまで Azure VM を用いた DNS フォワーダーのセットアップが必要だったが、Azure DNS Private Resolver が利用可能に • フル マネージド：高可用性、ゾーン冗長を組み込み • コスト削減：運用コストを削減、従来の VM ベースの ソリューションの数分の一の価格で運用可能 • 高性能：最大 10,000 QPS / エンドポイント • DevOps との親和性：Terraform、ARM、Bicep で パイプラインを構築可能 https://learn.microsoft.com/ja-jp/azure/dns/private-dns-overview
15. Azure Firewall VNet リソースを保護するマネージドなクラウド ベースのネットワーク セキュリティ サービス 組込の高可用性とクラウドの無制限のスケーラビリティを 備えた、完全にステートフルな Firewall as a Service • SKU：Standard、Premium、Basic • Standard の主要機能：各種ネットワーク フィルタリン グ (FQDN タグ、サービス タグ、FQDN フィルタリングな ど)、脅威インテリジェンス、カスタム DNS、Azure Monitor & Sentinel 連携など • Premium の主要機能：Standard の機能 + TLS イ ンスペクション、IDPS、URL フィルタリング、Web カテゴ リ フィルタリング • 一般的なデプロイ モデル：Azure Firewall をハブ VNet にデプロイ、スポーク VNet のデフォルト ルートを ハブ VNet に設定してトラフィックの集中制御を行う https://learn.microsoft.com/en-us/azure/firewall/overview VNET/VWAN On-premises Spoke 1 Spoke 2 Spoke VNets Internet Web Categories TLS Inspection IDPS URL Filtering
16. Azure の各種マネージド データ ストアの閉域構成化の 主要な方法を紹介 マネージド データ ストアの閉域構成化
17. この章の目的 Azure Databricks はメイン データ ストアの Azure Storage (Azure Data Lake Storage Gen2) に加えて、様々なマネージド データ ストアにもアクセス可能 Azure Databricks のネットワーク設計にとって重要なポイントである マネージド データ ストアの閉域構成化の方法について学ぶ Azure Storage (ADLS Gen2) Azure Cosmos DB Azure SQL Database Azure Database for PostgreSQL / MySQL / MariaDB RDB & NoSQL Azure Synapse Analytics Azure Event Hubs Azure Data Explorer Azure HDInsight (Kafka etc.) Azure IoT Hub Big Data & Streaming Azure SQL Managed Instance
18. マネージド データ ストアの閉域構成化の主要な方法 サービスによって利用可能な方法は異なる、サービスと要件に合わせて適切なものを選択する ② VNet サービス エンドポイント VNet から PaaS への経路を作る VNet のサブネットと 各サービスとの間に 1:1 の 接続パスを作る Spoke Spoke Hub FW • Azure Storage • Azure SQL Database • Azure Synapse Analytics - 専用 SQL プール • Azure Database for PostgreSQL - Single Server • Azure Database for MySQL - Single Server etc. ① VNet インジェクション VNet に専用サービスを配置 VNet にユーザー専用の サービスを配置する • Azure SQL Managed Instance • Azure Database for PostgreSQL - Flexible Server • Azure Database for MySQL - Flexible Server • Azure HDInsight • Azure Cache for Redis etc. Spoke Spoke Hub FW ③ Azure Private Link VNet 内に PaaS の I/F を作る VNet 内に配置する プライベート エンドポイントを 経由してサービスに接続する Spoke Spoke Hub FW • Azure Storage • Azure SQL Database • Azure Synapse Analytics - 専用 SQL プール • Azure Database for PostgreSQL - Single Server • Azure Database for MySQL - Single Server etc. ④ Azure Firewall Firewall サービスを使って制限 Azure Firewall と リソース側 IP アドレス 制限で 1:1 で接続する Spoke Spoke Hub FW • Azure Storage • Azure SQL Database • Azure Synapse Analytics - 専用 SQL プール etc. Azure サービス用の仮想ネットワーク | Microsoft Learn Azure 仮想ネットワーク サービス エンドポイント | Microsoft Learn Azure Private Link とは | Microsoft Learn
19. マネージド データ ストアの閉域構成化の主要な方法 サービスによって利用可能な方法は異なる、サービスと要件に合わせて適切なものを選択する ② VNet サービス エンドポイント VNet から PaaS への経路を作る VNet のサブネットと 各サービスとの間に 1:1 の 接続パスを作る Spoke Spoke Hub FW • Azure Storage • Azure SQL Database • Azure Synapse Analytics - 専用 SQL プール • Azure Database for PostgreSQL - Single Server • Azure Database for MySQL - Single Server etc. ① VNet インジェクション VNet に専用サービスを配置 VNet にユーザー専用の サービスを配置する • Azure SQL Managed Instance • Azure Database for PostgreSQL - Flexible Server • Azure Database for MySQL - Flexible Server • Azure HDInsight • Azure Cache for Redis etc. Spoke Spoke Hub FW ③ Azure Private Link VNet 内に PaaS の I/F を作る VNet 内に配置する プライベート エンドポイントを 経由してサービスに接続する Spoke Spoke Hub FW • Azure Storage • Azure SQL Database • Azure Synapse Analytics - 専用 SQL プール • Azure Database for PostgreSQL - Single Server • Azure Database for MySQL - Single Server etc. ④ Azure Firewall Firewall サービスを使って制限 Azure Firewall と リソース側 IP アドレス 制限で 1:1 で接続する Spoke Spoke Hub FW • Azure Storage • Azure SQL Database • Azure Synapse Analytics - 専用 SQL プール etc. Azure サービス用の仮想ネットワーク | Microsoft Learn Azure 仮想ネットワーク サービス エンドポイント | Microsoft Learn Azure Private Link とは | Microsoft Learn
20. VNet インジェクション (VNet 統合) ✓ ユーザーが管理する VNet に占有環境としての Azure サービスをデプロイする ✓ VNet 統合された Azure サービスと VNet 内の VM などのリソースはプライベート IP アドレスを 利用して非公開で相互に通信できる ✓ オンプレミスのリソースは ExpressRoute または サイト間 VPN を経由してプライベート IP アドレスを 利用して VNet 統合されたサービスに接続できる VNet にユーザー専用の Azure サービスを配置する https://learn.microsoft.com/ja-jp/azure/virtual-network/virtual-network-for-azure-services
21. VNet サービス エンドポイント ✓ Azure サービスへのアクセスを特定の VNet の サブネットに限定できる ✓ VNet 内のリソースはパブリック IP アドレスを 必要とせずにプライベート IP アドレスで サービス エンドポイントに接続できる ✓ VNet と Azure サービス間のトラフィックは常に Azure のバックボーン ネットワークを通る ✓ 追加料金なしで利用可能で、NAT や 特別な名前解決を必要としないシンプルな設定 ✓ 考慮事項：オンプレミスからのアクセスを許可 する場合、Azure サービスの IP ファイアウォールで 接続元のパブリック IP アドレスの許可が必要 VNet のサブネットと Azure サービスとの間に 1:1 の接続パスを作る https://learn.microsoft.com/ja-jp/azure/virtual-network/virtual-network-service-endpoints-overview
22. Azure Private Link ✓ VNet 内のリソース (ピアリング先を含む) や オンプレミスのリソースからプライベート IP アドレスを 使って Azure サービスに接続できる ✓ VNet と Azure サービス間のトラフィックは常に Azure のバックボーン ネットワークを通る ✓ プライベート エンドポイントを配置するサブネットの NSG の受信セキュリティ規則を用いることで 接続元リソースのフィルタリングが可能 ✓ 考慮事項：接続元リソースがプライベート エンドポイントの FQDN をプライベート IP アドレスに 名前解決できる必要がある - 接続元が VNet の場合、 Azure Private DNS を利用するのが一般的 VNet 内に配置するプライベート エンドポイントを経由して Azure サービスに接続する https://learn.microsoft.com/ja-jp/azure/private-link/private-link-overview https://learn.microsoft.com/ja-jp/azure/private-link/disable-private-endpoint-network-policy?tabs=network-policy-portal https://learn.microsoft.com/ja-jp/azure/architecture/guide/networking/private-link-hub-spoke-network
23. 主要な Azure サービスの対応状況 VNet インジェクション VNet サービス エンドポイント Azure Private Link • Azure SQL Managed Instance • Azure Database for MySQL - Flexible • Azure Database for PostgreSQL - Flexible • Azure HDInsight • Azure Databricks • Azure Logic Apps • Azure Storage • Azure SQL Database • Azure Cosmos DB • Azure Database for PostgreSQL - Single • Azure Database for MySQL - Single • Azure Database for MariaDB • Azure Synapse Analytics - 専用 SQL プール • Azure Event Hubs • Azure Service Bus • Azure Storage • Azure SQL Database • Azure Cosmos DB • Azure Database for PostgreSQL - Single • Azure Database for MySQL - Single • Azure Database for MariaDB • Azure Cache for Redis • Azure Synapse Analytics • Azure Event Hubs • Azure Monitor • Azure Data Factory • Azure HDInsight • Azure Data Explorer • Azure Stream Analytics • Azure Event Grid • Azure Service Bus • Azure API Management • Azure Logic Apps (最新情報) https://learn.microsoft.com/ja- jp/azure/virtual-network/virtual-network- for-azure-services (最新情報) https://learn.microsoft.com/ja- jp/azure/virtual-network/virtual-network- service-endpoints-overview (最新情報) https://learn.microsoft.com/ja- jp/azure/private-link/availability 2023 年 3 月時点の情報 対象のカテゴリー：ストレージ、データベース、分析、統合
24. 価格体系 VNet インジェクション VNet サービス エンドポイント Azure Private Link 無料 サービスによって上位プラン (SKU) でのみ 対応している場合がある 無料 VNet サービス エンドポイントの利用自体に 追加コストは発生しない。各 Azure サービス の価格モデルが適用される 有料 • Private Link サービス: 無料 • プライベート エンドポイント: $0.01 / 時間 • 受信データ処理量: $0.01 / GB • 送信データ処理量: $0.01 / GB ※ 送受信ともに月間処理量が 0-1 PB の場合の料金 (最新情報) https://azure.microsoft.com/ja- jp/pricing/details/private-link/ 2023 年 3 月時点、東日本リージョンの料金
25. 一般的な使い分けの例 ユースケース 候補となる機能 VNet から Azure サービスにプライベート IP でアクセスしたい Azure Private Link または VNet サービス エンドポイント オンプレミス から Azure サービスにプライベート IP でアクセスしたい* Azure Private Link または VNet インジェクション (利用可能なサービスの場合) * オンプレミスと Azure 間が ExpressRoute / VPN で接続されている前提
26. [FAQ] Microsoft サービス間の通信経路について • Azure を含む Microsoft サービス間のトラフィックは Microsoft バックボーン ネットワーク内でルーティングされ、 パブリック インターネットを経由しないことをドキュメントで明記 • 例：VM からサービス エンドポイントや Private Link を設定していない Azure Storage にアクセスすると パブリック IP に名前解決されるが、トラフィックは MS バックボーン ネットワークを通りインターネットは経由しない • サービス エンドポイントや Private Link には様々な利点があるが、「インターネットを経由させたくない」からの 一点だけでは選択する理由にならない https://learn.microsoft.com/ja-jp/azure/networking/microsoft-global-network
27. ADB で利用する ADLS Gen2 の閉域構成化の検討ポイント ADLS Gen2 は Private Link とサービス エンドポイントの両方に対応、かつ併用も可能 いずれの機能でも ADB クラスターを配置する VNet のサブネットからのプライベート IP 接続のみに制限可能 オンプレミスからのプライベート IP でのアクセス要件、組織のセキュリティ ポリシー、コストなどのバランスを見て、 いずれかを利用する / 利用しない / 両方を併用するかを判断するのが Good Private Link は送受信データ処理量の料金が発生するため、 大量のデータを処理する場合には相応の料金がかかる ユーザー管理の VNet Azure Databricks クラスター用サブネット プライベート エンドポイント ADLS Gen2 Private Link サービス エンドポイント オンプレミス 環境 ExpressRoute / VPN 経由でのプライベート接続 試算前提 • 受信データ処理量: 30TB/月 • 送信データ処理量: 30TB/月 月額料金合計: $607.2 • プライベート エンドポイント: $7.2 • 受信データ処理量: $300 • 送信データ処理量: $300 Private Link の月額料金例 (中程度のデータ処理量) 追加料金なしで利用可能
28. Azure Databricks のネットワーク関連の セキュリティ機能の理解にあたって前提となる用語を確認 Azure Databricks の用語の確認
29. Azure Databricks (ADB) のハイ レベル アーキテクチャー ✓ コントロール プレーン  ADB が管理する Azure サブスクリプションで動作  ワークスペース用 Web アプリやノートブックなどを含む  ユーザーは Azure AD の SSO 認証を経てコントロール プレーン上のワークスペース用 Web アプリに接続 ✓ データ プレーン  ユーザー管理の Azure サブスクリプションで動作  クラスター用 VM やディスク、VNet などを含む  データ プレーンの ADB クラスターがユーザー管理の Azure ストレージなどに接続 ADB はコントロール プレーンとデータ プレーンにより動作 https://learn.microsoft.com/ja-jp/azure/databricks/getting-started/overview#--high-level-architecture
30. データ プレーン (Databricks クラスター) のネットワーク構成 ✓ コンテナー サブネット  別名：プライベート サブネット (private-subnet)  クラスターの内部通信に利用  クラスター用 VM はコンテナー サブネットに所属する ネットワーク インターフェイス (NIC) を持つ ✓ ホスト サブネット  別名：パブリック サブネット (public-subnet)  コントロール プレーンなどクラスター外部との通信に利用  クラスター用 VM はホスト サブネットに所属する NIC を持つ  既定の構成の場合は NIC にパブリック IP が関連付けられる  セキュリティで保護されたクラスター接続の場合はパブリック IP が 関連付けられない = クラスター VM はプライベート IP のみを持つ データ プレーンはコンテナー サブネットとホスト サブネットにより構成 https://learn.microsoft.com/ja-jp/azure/databricks/administration-guide/cloud-configurations/azure/vnet-inject データ プレーン用 VNet (既定の構成) コンテナー サブネット ホスト サブネット NIC NIC パブリック IP データ プレーン用 VNet (セキュリティで保護されたクラスター接続) コンテナー サブネット ホスト サブネット NIC NIC
31. マネージド リソース グループ Azure Databricks が管理するデータ プレーン リソース用のリソース グループ ユーザー管理のサブスクリプション 既定の構成の Azure Databricks ワークスペースのマネージド リソース グループ マネージド リソース グループ Azure Databricks ワークスペース作成時に自動的に作成 命名規則: databricks-rg-{workspace}-{random chars} 仮想ネットワーク クラスター用 VM にアタッチされる NIC が所属する ネットワーク セキュリティ グループ クラスター用 VNet のサブネットに適用される ストレージ アカウント Databricks File System (DBFS) のルート ボリューム用 マネージド ID 内部管理用 * リソース グループ、ストレージ アカウント、VM リソース群の名前はランダム文字列を含むことに留意 * VNet インジェクションや NPIP を有効にした場合に作成されるリソースは異なることに留意 クラスター用 VM リソース群 VM、ディスク、NIC、パブリック IP アドレスが クラスターを構成する VM 台数分作成される (クラスター作成・削除に合わせて自動的に作成・削除される) https://learn.microsoft.com/ja-jp/azure/databricks/scenarios/quickstart-create- databricks-workspace-vnet-injection
32. マネージド リソース グループの IAM 権限設定 • ユーザーはリソースの読み取りと VNet ピアリングのみ可能 • リソース グループの [アクセス制御 (IAM)] > [拒否の割り当て] で上記以外のアクションは すべて拒否 (Deny) されており、ユーザーはこの設定を変更することはできない
33. Azure Databricks が備えるネットワーク関連の セキュリティ機能について解説 Azure Databricks の ネットワーク関連のセキュリティ機能
34. Azure Databricks のネットワーク セキュリティ機能 機能 概要 利用可能なレベル 1. ユーザーからワークスペースへの接続を制御 IP アクセス リスト 接続元のパブリック IP アドレスを制限 Premium Azure AD 条件付きアクセス Azure AD の SSO 認証時に特定の IP 範囲やデバイスなど からのアクセスを許可/拒否、多要素認証などを要求できる Premium (+ Azure AD Premium) フロントエンド Private Link 閉域ネットワークからのプライベート接続をサポート Premium 2. データ プレーンの閉域構成 VNet ピアリング 既定の構成において Azure Databricks マネージドの VNet をユーザーが管理する VNet とピアリング Standard, Premium VNet インジェクション ユーザーが管理する VNet にデータ プレーン リソースをデプロイ Standard, Premium セキュリティで保護された クラスター接続 (NPIP) • データ プレーンにパブリック IP アドレスを付与しない • データ プレーンの受信トラフィックを VNet 内に限定 Standard, Premium バックエンド Private Link データ プレーンからコントロール プレーンへの通信に利用 Premium
35. 1.1. IP アクセス リスト ✓ 許可リストとブロック リストでアクセスを制限  許可リスト：アクセスを許可する IP アドレスのリスト  ブロック リスト：アクセスを拒否する IP アドレスのリスト  片方のリストのみの利用も可能  指定対象は静的な IP アドレスを推奨 ✓ ワークスペースあたり合計 1,000 個の IPv4 アドレス / CIDR を指定可能  1 つの CIDR を 1 つの値としてカウント ✓ ブロック リスト、許可リストの順に評価  ブロック リストと一致する場合はアクセスを拒否  続いて許可リストを評価：許可リストと一致する場合はアクセス を許可 / 許可リストが未定義の場合は全 IP アドレスを許可 ワークスペースにアクセス可能なパブリック IP アドレスを制限 https://learn.microsoft.com/ja-jp/azure/databricks/security/network/ip-access-list 1. ユーザーからワークスペースへの接続を制限
36. 1.2. Azure AD 条件付きアクセス ✓ ワークスペースへのサインインのための Azure AD の SSO 認証時のシグナルが管理者の定義した条件と 合致する場合、アクセス制御を適用 ✓ 一般的なシグナルの例  Azure AD のユーザーまたはグループ  IP の場所に関する情報 (信頼された IP 範囲などを作成可能)  デバイスのプラットフォームや状態 ✓ アクセス制御の例  アクセスをブロック  アクセス権を付与：1 つ以上のオプションを要求可能  多要素認証 / Intune 準拠 / Azure AD 参加 / 承認済みアプリ ✓ 考慮事項  Azure AD Premium P1 以上のライセンスが必要  Azure AD の条件付きアクセス管理者かグローバル管理者の権限が必要 Azure AD の機能でワークスペースへのサインイン可能な条件を詳細に制御 1. ユーザーからワークスペースへの接続を制限 https://learn.microsoft.com/ja-jp/azure/databricks/administration-guide/access-control/conditional-access https://learn.microsoft.com/ja-jp/azure/active-directory/conditional-access/overview
37. 1.3. フロントエンド Private Link ✓ VNet やオンプレミスのリソースがプライベート IP を用いて ワークスペース* に接続できる * より厳密にはワークスペース Web UI, REST API, Databricks Connect API が対象 ✓ Power BI や JDBC/ODBC 利用アプリから ADB クラスターや SQL ウェアハウスに プライベート接続する場合もこの機能を利用する ✓ パブリック接続とプライベート接続の両方に 対応するハイブリッド接続も可能  IP アクセス リストと組み合わせて利用可能 ✓ 考慮事項：ワークスペース Web UI へのサインイン時の Azure AD の SSO 認証コールバックをサポートするための ブラウザー認証プライベート エンドポイントの作成が必要 閉域ネットワークからワークスペースへのプライベート接続のニーズに対応 オンプレミス環境 (ER / VPN 接続) ユーザー管理のトランジット VNet フロントエンド プライベート エンドポイント サブ リソース: databricks_ui_api ブラウザー認証 プライベート エンドポイント サブ リソース: browser_authentication ADB ワークスペース (ユーザー利用) ADB ワークスペース (ブラウザー認証 PE の ホスト専用) Private DNS ゾーン (フロントエンド用) 同一 VNet / ピアリング先 VNet の VM (作業用、オンプレミス データ ゲートウェイ etc.) フロントエンド Private Link https://learn.microsoft.com/ja-jp/azure/databricks/administration-guide/cloud-configurations/azure/private-link 1. ユーザーからワークスペースへの接続を制限 Azure AD SSO 認証
38. [Note] ブラウザー認証プライベート エンドポイント • フロントエンド Private Link 経由でワークスペース Web UI にサインインを行う場合、Azure AD の SSO 認証コールバックを適切にサポートするために必要となるプライベート エンドポイント • 公式ドキュメントではプライベート DNS 構成を共有するワークスペースが複数ある場合、ブラウザー認証 プライベート エンドポイント専用のプライベート Web 認証ワークスペースの作成が推奨されている frontend-pe-1 adb-ws-ejp-1 (URL: adb-001.1. azuredatabricks.net) privatelink.azure databricks.net 東日本リージョン adb-001.1 A 192.168.1.1 frontend-pe-2 adb-002.1 A 192.168.1.2 adb-ws-ejp-2 (URL: adb-002.1. azuredatabricks.net) DNS レコード 望ましくないシナリオを用いた説明 • 東日本リージョンに 2 つのワークスペースを作成 • 各ワークスペースのフロントエンド Private Link 用 プライベート エンドポイント (PE) は同一 VNet に所属 • VNet に Private DNS ゾーンをリンク = 2 つのワーク スペースがプライベート DNS 構成を共有 transit-vnet-ejp • adb-ws-ejp-1 に紐付けてブラウザー認証 PE を作成 • adb-ws-ejp-2 は adb-ws-ejp-1 に紐付く ブラウザー認証 PE を Azure AD の SSO 認証 コールバックに利用 browser-auth-pe japaneast.pl-auth A 192.168.1.3 1. ユーザーからワークスペースへの接続を制限
39. [Note] ブラウザー認証プライベート エンドポイント • フロントエンド Private Link 経由でワークスペース Web UI にサインインを行う場合、Azure AD の SSO 認証コールバックを適切にサポートするために必要となるプライベート エンドポイント • 公式ドキュメントではプライベート DNS 構成を共有するワークスペースが複数ある場合、ブラウザー認証 プライベート エンドポイント専用のプライベート Web 認証ワークスペースの作成が推奨されている frontend-pe-1 browser-auth-pe adb-ws-ejp-1 (URL: adb-001.1. azuredatabricks.net) privatelink.azure databricks.net 東日本リージョン frontend-pe-2 adb-002.1 A 192.168.1.2 adb-ws-ejp-2 (URL: adb-002.1. azuredatabricks.net) DNS レコード 望ましくないシナリオを用いた説明 • 東日本リージョンに 2 つのワークスペースを作成 • 各ワークスペースのフロントエンド Private Link 用 プライベート エンドポイント (PE) は同一 VNet に所属 • VNet に Private DNS ゾーンをリンク = 2 つのワーク スペースがプライベート DNS 構成を共有 transit-vnet-ejp • adb-ws-ejp-1 に紐付けてブラウザー認証 PE を作成 • adb-ws-ejp-2 は adb-ws-ejp-1 に紐付く ブラウザー認証 PE を Azure AD の SSO 認証 コールバックに利用 • adb-ws-ejp-1 とブラウザー認証 PE を削除 • adb-ws-ejp-2 は Azure AD の SSO 認証 コールバックに失敗 = フロントエンド Private Link 経由でのワークスペースの Web UI へのログイン失敗 削除 Web UI への ログイン失敗 1. ユーザーからワークスペースへの接続を制限
40. [Note] ブラウザー認証プライベート エンドポイント • ADB を利用するリージョンごとにプライベート Web 認証専用の ワークスペースを作成し、ブラウザー認証エンドポイントを関連付ける • プライベート Web 認証ワークスペースに削除ロックを付与して意図しない 削除を防止 frontend-pe-1 adb-ws-ejp-1 (URL: adb-001.1. azuredatabricks.net) privatelink.azure databricks.net 東日本リージョン adb-001.1 A 192.168.1.1 frontend-pe-2 adb-002.1 A 192.168.1.2 adb-ws-ejp-2 (URL: adb-002.1. azuredatabricks.net) DNS レコード transit- vnet-ejp browser-auth-pe japaneast.pl-auth A 192.168.1.3 WEB_AUTH_ DO_NOT_DELETE_EJP (URL: adb-003.1. azuredatabricks.net) ドキュメント上の推奨構成 オプション構成① • ワークスペースが 1 つしかない場合 and/or ブラウザー認証 PE をホストする ワークスペースを削除しない場合、以下の構成も可能 1. ユーザーからワークスペースへの接続を制限 frontend- pe-1 adb-ws-ejp-1 privatelink.azure databricks.net 東日本リージョン transit- vnet-ejp browser- auth-pe frontend- pe-2 adb-ws-ejp-2 オプション構成② • 複数ワークスペースのプライベート DNS 構成が独立している場合、 各ワークスペースでフロントエンド PE とブラウザー認証 PE をホストする構成が可能 frontend- pe-1 adb-ws-ejp-1 東日本リージョン transit- vnet-ejp-1 browser- auth-pe-1 frontend- pe-2 adb-ws-ejp-2 transit- vnet-ejp-2 browser- auth-pe-2 privatelink.azure databricks.net privatelink.azure databricks.net (同名の別リソース)
41. 2.1. VNet ピアリング ✓ ワークスペースの既定の構成では ADB が管理する VNet が マネージド リソース グループにデプロイされる  以降、”ADB マネージドの VNet” と便宜上呼称 ✓ ADB マネージドの VNet をユーザーが 管理する VNet とピアリングできる ✓ ピアリングした VNet 間のトラフィックは Microsoft バックボーン ネットワークを通り、 プライベート IP のみを使った通信が可能 Azure Databricks 管理の VNet をユーザー管理の VNet とピアリング https://learn.microsoft.com/ja-jp/azure/databricks/administration-guide/cloud-configurations/azure/vnet-peering ADB マネージドの VNet Azure Databricks クラスター ピアリング先 VNet (例: HDInsight VNet) Kafka on HDInsight クラスター VNet ピアリング 2. データ プレーンの閉域構成
42. 2.2. VNet インジェクション ユーザーが管理する VNet にデータ プレーン リソースをデプロイ https://learn.microsoft.com/ja-jp/azure/databricks/administration-guide/cloud-configurations/azure/vnet-inject 2. データ プレーンの閉域構成 ✓ ネットワーク設定をカスタマイズ可能  サービス エンドポイントやプライベート エンドポイントを 設定した PaaS サービスへの接続  ユーザー定義ルート (UDR) を編集し、オンプレミスの ネットワークにルーティング / Azure Firewall などの ネットワーク仮想アプライアンスにルーティング  カスタム DNS の利用  NSG の送信セキュリティ規則のカスタマイズ  他の VNet とのピアリング etc.
43. [Note] ADB マネージドの VNet vs. VNet インジェクション • ADB マネージドの VNet はピアリングのみ可能、サブネットのサービス エンドポイントの設定や VNet への Azure Private DNS ゾーンのリンクなどはユーザーの IAM 権限的に不可 • サービス エンドポイントや Private Link の背後のデータ ストアへのアクセスなどのニーズがある場合には ユーザーがネットワーク設定をカスタマイズできる VNet インジェクションの利用を推奨 ADB マネージドの VNet の場合 VNet インジェクションの場合 ADB マネージドの VNet ADB クラスター VNet への Private DNS ゾーンのリンク：不可 → ADB クラスターから プライベート エンドポイントの 名前解決ができない* サービス エンドポイントやプライベート エンドポイント* の 背後のデータ ストアへのアクセスは結果的に不可 * Private DNS ゾーン以外の方法を用いて名前解決をする工夫をすることで PE 背後のデータ ストアにアクセス可能だが、VNet インジェクションを最初に検討することを推奨 ユーザー管理の VNet ADB クラスター VNet への Private DNS ゾーンのリンク：可能 ホスト サブネットへの サービス エンドポイントの 設定：可能 サービス エンドポイントやプライベート エンドポイントの 背後のデータ ストアへのアクセスが可能 ホスト サブネットへの サービス エンドポイントの 設定：不可 ピアリングされた 別 VNet プライベート エンドポイントは ADB と同一の VNet の別サブネット、 またはピアリング先の VNet の いずれにも配置可能 2. データ プレーンの閉域構成
44. [Note] VNet インジェクション時のアドレス空間 • 同時に利用しうる最大のノード数を想定し、十分な大きさのアドレス空間を割り当てることを推奨 • ADB の利用が組織内で活発化すると、1,000 台以上のノードが同時に稼働することが珍しくないため、 ホスト & コンテナー サブネットにそれぞれ /22 (1,024 IP) を割り当てても決して大きすぎるということはない 2. データ プレーンの閉域構成 サブネットの サイズ (CIDR) サブネットあたりの IP アドレス数 ADB が利用できる IP アドレス数 /17 32,768 32,763 /18 16,384 16,379 /19 8,192 8,187 /20 4,096 4,091 /21 2,048 2,043 /22 1,024 1,019 /23 512 507 /24 256 251 /25 128 123 /26 64 59 種別 最大サイズ 最小サイズ VNet /16 /24 サブネット /17 /26 指定可能なアドレス空間のサイズ (CIDR) サブネットのサイズごとの IP アドレス数の早見表 同時に利用する最大ノード数の例 Data Engineering 5 ノード構成のクラスター Databricks SQL 10 ノード構成の SQL ウェアハウス • 通常時：1 クラスターで 1 時間分の 入力データを毎時処理 • ピーク時：ロジック変更があった場合に 過去 72 時間分のデータをなるべく 素早く再処理できる必要がある • 通常時：5 つの分析チームが 5 つの SQL ウェアハウスを利用 • ピーク時：業務繁忙期には最大 30 の SQL ウェアハウスを同時に利用する 可能性がある つまりピーク時は 5 ノード × 72 クラスター = 360 ノード が必要 つまりピーク時は 10 ノード × 30 ウェアハウス = 300 ノード が必要 計 660 ノードをカバーできる サブネット サイズとして /22 を設定 (加えて、ピーク時を見据えて VM のクォータ制限の引き上げも行っておくのが望ましい)
45. 2.3. セキュリティで保護されたクラスター接続 (NPIP) ✓ クラスター用 VM がパブリック IP を持たない  既定の構成：VM にパブリック IP が付与される  NPIP 構成：パブリック IP が付与されない = クラスター用 VM は プライベート IP のみを持つ  インターネット アウトバウンド通信は必要に応じて NAT ゲートウェイや Azure 既定の SNAT などを利用する形になる ✓ データ プレーンの NSG 受信セキュリティ規則を VNet 内の通信に限定できる  既定の構成：コントロール プレーンのパブリック IP からの 通信をデータ プレーンの NSG の受信セキュリティ規則で 許可する必要がある  NPIP 構成：セキュア クラスター接続リレーを介した通信となり コントロール プレーンからデータ プレーン方向への通信が不要 VM がパブリック IP を持たない & NSG 受信セキュリティ規則に開放ポートなし https://learn.microsoft.com/ja-jp/azure/databricks/security/secure-cluster-connectivity 2. データ プレーンの閉域構成
46. 2.4. バックエンド Private Link ✓ セキュリティで保護されたクラスター接続 (NPIP) をより強化したアーキテクチャー ✓ データ プレーンからセキュア クラスター接続 リレーへの接続がプライベート接続で完結  NPIP 構成：データ プレーン・NAT 間は プライベート接続、NAT・リレー間はパブリック接続  NPIP + バックエンド Private Link：プライベート IP ベースの通信で完結 データ プレーンからコントロール プレーンへのプライベート接続のニーズに対応 ユーザー管理のデータ プレーン用 VNet バックエンド プライベート エンドポイント サブ リソース: databricks_ui_api ADB ワークスペース (コントロール プレーン) Private DNS ゾーン (バックエンド用) バックエンド Private Link ホスト サブネット コンテナー サブネット セキュア クラスター 接続リレー 2. データ プレーンの閉域構成
47. [Note] データ プレーンとコントロール プレーンの通信経路 ADB マネージドの VNet コンテナー サブネット ホスト サブネット NIC パブリック IP Microsoft バックボーン ネットワーク ADB コントロール プレーン クラスター用 VM NIC ① 既定の構成 (非 NPIP & 非 VNet インジェクション) ② セキュリティで保護されたクラスター (NPIP) ③ NPIP + VNet インジェクション • NSG 受信セキュリティ規則に コントロール プレーンの パブリック IP からの一部の 通信を許可する規則が 自動的に設定される • クラスター用 VM がパブリック IP を持つ • データ プレーンとコントロール プレーン間の通信には パブリック IP を用いるが MS バックボーンを通る ④ NPIP + VNet インジェクション + バックエンド Private Link ADB マネージドの VNet コンテナー サブネット Microsoft バックボーン ネットワーク ADB コントロール プレーン • セキュア クラスター接続リレーを 介した方式になるため コントロール プレーンからの 通信を NSG 受信セキュリティ 規則で許可する必要がない • クラスター用 VM がパブリック IP を持たない • NAT GW が自動的にデプロイ される • データ プレーンからリレーへの 通信は NAT GW を経由する ホスト サブネット NAT ゲートウェイ セキュア クラスター 接続リレー ユーザー管理の VNet コンテナー サブネット Microsoft バックボーン ネットワーク • セキュア クラスター接続リレーを 介した方式になるため コントロール プレーンからの 通信を NSG 受信セキュリティ 規則で許可する必要がない • クラスター用 VM がパブリック IP を持たない • データ プレーンから接続リレーへ の通信は Private Link を通る • インターネット アウトバウンド通 信に Azure 既定の SNAT を 利用、頻繁に通信する場合 は LB やNAT GW、Azure Firewall などの利用を推奨 ホスト サブネット ユーザー管理の VNet コンテナー サブネット Microsoft バックボーン ネットワーク • セキュア クラスター接続リレーを 介した方式になるため コントロール プレーンからの 通信を NSG 受信セキュリティ 規則で許可する必要がない • クラスター用 VM がパブリック IP を持たない • データ プレーンから接続リレーへ の通信を含むクラスター外部へ の通信の際、Azure 既定の SNAT が使われる • 代わりに LB やNAT GW、 Azure Firewall をデプロイして 利用することも可能 ホスト サブネット Azure 既定の SNAT NSG コントロール プレーンのパブリック IP からデータ プレーンへの 22 番、5557 番ポートへの通信を許可する受信規則が自動設定 パブリック IP からの受信規則なし パブリック IP からの受信規則なし パブリック IP からの受信規則なし バックエンド用 プライベート エンドポイント プライベート IP 通信 パブリック IP 通信 リソース間の関連 2. データ プレーンの閉域構成 ADB コントロール プレーン セキュア クラスター 接続リレー ADB コントロール プレーン セキュア クラスター 接続リレー
48. [Note] ネットワーク セキュリティ設定の留意事項 以下はワークスペース作成時のみ設定可能な項目 (作成後の更新はできない点に留意) セキュリティで保護されたクラスター接続 (NPIP) の設定 • はい：NPIP を有効化 • いいえ：NPIP を無効化 VNet インジェクションの設定 • はい：VNet インジェクションを有効化 (対象の VNet の設定が必要) • いいえ：ADB マネージドの VNet にデプロイ ワークスペースへのパブリック アクセスの設定 • 有効：ワークスペースへのパブリック アクセスを許可 • 無効：ワークスペースへのパブリック アクセスを無効化 (ワークスペースへのアクセスにはフロントエンド Private Link が必要) バックエンド Private Link の設定 • すべてのルール：バックエンド Private Link を利用しない • Azure Databricks ルールなし：バックエンド Private Link を利用する [注意] 各 Private Link を利用する場合にはそれぞれ以下の設定が有効になっている必要がある • フロントエンド Private Link：VNet インジェクション • バックエンド Private Link：NPIP、VNet インジェクション、必須の NSG ルール = Azure Databricks ルールなし 2. データ プレーンの閉域構成 1. ユーザーからワークスペースへの接続を制限
49. [Note] Private Link の標準デプロイ vs. 簡略化されたデプロイ • ADB の Private Link のドキュメントでは標準デプロイと簡略化されたデプロイの二種類が定義されている • 標準デプロイが推奨だが、組織のネットワーク ポリシーによっては簡略化されたデプロイを選択することも可能 標準デプロイ 簡略化されたデプロイ 標準デプロイとして Azure Private Link を有効にする - Azure Databricks | Microsoft Learn 簡略化されたデプロイとして Azure Private Link を有効にする - Azure Databricks | Microsoft Learn 標準デプロイとの違い • データ プレーン用 VNet の中に トランジット用サブネットを作成 • フロントエンドとバックエンドの プライベート エンドポイントを 1 つに統合 • 伴ってプライベート DNS ゾーンも1 つに統合 2. データ プレーンの閉域構成 1. ユーザーからワークスペースへの接続を制限
50. 一般的な使い分けの例 ユースケース 利用する機能 接続元のパブリック IP を制限したい IP アクセス リスト 接続元のパブリック IP を制限しつつ、パブリック接続とプライベート接続の 両方に対応するハイブリッド接続の構成を取りたい IP アクセス リスト & フロントエンド Private Link プライベート接続に限定したい フロントエンド Private Link (デプロイ時に公衆 NW アクセスを無効化) パブリック / プライベート接続かを問わず、サインイン条件をきめ細かく制御したい Azure AD 条件付きアクセス ユースケース 利用する機能 サービス エンドポイントや Private Link の背後のデータ ストアに接続したい VNet 統合 オンプレミスや Azure Firewall などに通信をルーティングをしたい VNet 統合 データ プレーンとコントロール プレーン間の通信をプライベート IP で行いたい VNet 統合 & セキュリティで保護されたクラスター接続 & バックエンド Private Link 2. データ プレーンの閉域構成 1. ユーザーからワークスペースへの接続を制限
51. これまでに紹介した内容を踏まえて Azure ポータルでのネットワーク環境設定のデモ ネットワーク環境設定のデモ
52. ネットワーク環境設定のデモ クイック スタート構成 1 IP アクセス リスト、VNet インジェクション、ADLS Gen2 の サービス エンドポイントを利用 シンプルな Private Link 構成 2 フロントエンド & バックエンド Private Link を一本化 ブラウザー認証プライベート エンドポイントを同一ワークスペースに紐付け 厳格な Private Link 構成 3 Private Link のドキュメントにおける標準構成 トランジット VNet、ブラウザー認証専用ワークスペースを作成
53. [Demo 1] クイック スタート構成 • ワークスペースへのアクセスを IP アクセス リストで制御、VNet インジェクションしたクラスターからデータ ストアへの アクセスにサービス エンドポイントを利用する構成 (セキュリティ要件に応じて NPIP 構成を追加可能) • 上記はいずれも追加料金なしで利用可能な機能 • 細かな NW 設計が不要で素早くセットアップが可能 container-subnet 10.0.0.0/22 ADB ワークスペース adb-learn-nw-qs コントロール プレーン データ プレーン用 VNet vnet-adb-learn-nw-qs 10.0.0.0/16 IP アクセス リスト VM #1 (静的パブリック IP) VM #2 (静的パブリック IP) 接続確認用 VNet 許可 host-subnet 10.0.4.0/22 ADB クラスター サービス エンドポイント ADLS Gen2 stadblearnnwqs TLS (ワークスペース Web UI にパブリック IP で 接続するクライアントをシミュレート) 拒否 TLS TLS TLS vnet-adb-learn-nw-vm Azure Private Link パブリック IP 通信 Key Vault kv-adb-learn-qs
54. [Demo 2] シンプルな Private Link 構成 • 独立したプライベート DNS 構成を持つワークスペースを前提とし Private Link 構成をシンプル化 - フロントエンド & バックエンド プライベート エンドポイントを 1 つにまとめ、ブラウザー認証プライベート エンドポイントを同じワークスペースに紐付け • ワークスペース Web UI へのハイブリッド接続を想定 - パブリック接続も想定し IP アクセス リストを併用 container-subnet 10.10.0.0/22 データ プレーン用 VNet vnet-adb-learn-nw-pr-simple 10.10.0.0/16 接続確認用 VNet 許可 host-subnet 10.10.4.0/22 ADB クラスター ADLS Gen2 stadblearnnwprsimple adls-pe-subnet 10.10.100.8/29 vm-pr-subnet 10.10.200.0/29 接続確認用 VM ADLS 用プライベート DNS ゾーン privatelink.dfs. core.windows.net ADB 用プライベート DNS ゾーン privatelink. azuredatabricks.net 接続確認用 VM (静的パブリック IP) (ワークスペース Web UI にパブリック IP で 接続するクライアントをシミュレート) ADLS 用 プライベート エンドポイント ブラウザー認証 プライベート エンドポイント サブ リソース: browser_ authentication フロントエンド & バックエンド プライベート エンドポイント サブ リソース: databricks_ui_api adb-pe-subnet 10.10.100.0/29 vnet-adb-learn-nw-vm TLS TLS TLS ADB ワークスペース adb-learn-nw-pr-simple コントロール プレーン IP アクセス リスト リンク リンク Azure Private Link パブリック IP 通信 Azure AD PE をホスト SSO 認証 コールバック サポート Key Vault kv-adb-learn-nw-pr-sim
55. [Demo 3] 厳格な Private Link 構成 • プライベート DNS 構成を共有する複数のワークスペース向けの Private Link の標準構成 • フロントエンド プライベート エンドポイント (PE) をトランジット VNet に分離、ブラウザー認証専用ワークスペースを作成 • ワークスペースの新規作成 - データ プレーン用 VNet およびトランジット VNet へのフロントエンド PE 追加で対応 container-subnet 10.20.0.0/22 データ プレーン用 VNet vnet-adb-learn-nw-pr-strict 10.20.0.0/16 host-subnet 10.20.4.0/22 ADB クラスター ADLS Gen2 stadblearnnwprstrict adls-pe-subnet 10.20.100.8/29 vm-pr-subnet 172.16.200.0/29 接続確認用 VM ADLS 用プライベート DNS ゾーン privatelink.dfs. core.windows.net ADB バックエンド用 プライベート DNS ゾーン privatelink. azuredatabricks.net ADLS 用 プライベート エンドポイント バックエンド プライベート エンドポイント サブ リソース: databricks_ui_api ADB ワークスペース adb-learn-nw- pr-strict コントロール プレーン フロントエンド プライベート エンドポイント サブ リソース: databricks_ui_api トランジット VNet ADB ワークスペース WEB_AUTH_ DO_NOT_DELETE_EJP ADB フロントエンド用 プライベート DNS ゾーン privatelink. azuredatabricks.net ブラウザー認証 プライベート エンドポイント サブ リソース: browser_authentication adb-browser- auth-pe-subnet 172.16.100.0/29 adb-learn-nw- pr-strict- fe-pe-subnet 172.16.0.0/29 vnet-adb-learn-nw-transit 172.16.0.0/16 adb-be-pe-subnet 10.20.100.0/29 Azure AD PE をホスト SSO 認証 コールバック サポート TLS TLS TLS リンク リンク リンク Azure Private Link パブリック IP 通信 Key Vault kv-adb-learn-nw-pr-str
56. セッションのゴール (再掲) Azure Databricks (ADB) のネットワーク設計の理解を深める 設計にあたっての知識が不足  Azure の仮想ネットワークとは？  ADB のネットワーク関連のセキュリティには どのような機能がある？  各機能をどのように組み合わせれば良い？ 設計のポイントがよく分かる  仮想ネットワークと ADB のネットワーク関連の セキュリティ機能の特長が分かる  自組織のニーズに合致したネットワーク設計が できる 本日の セッション
57. Thank You お忙しいところ最後までご視聴いただき、 誠に有難うございました。 本ウェビナーへのご感想を是非お聞かせください。 こちらの QR コードよりアンケートにアクセスできます。 次回以降のウェビナー内容改善の参考とさせていただきたく、 ご協力のほどよろしくお願いいたします。
58. © Copyright Microsoft Corporation. All rights reserved.