ハイブリッドクラウド研究会第78回勉強会_三井情報(プライベートパス構成で読み解くAzure Localのネットワーク)

Transcript

1. ハイブリッドクラウド研究会 第78回勉強会 Azureへの通信経路をプライベートに！？ プライベートパス構成で読み解くAzure Localのネットワーク 2026年10月9日 三井情報株式会社 部署： インフラ第二技術部 第一技術室 松本秀太 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved.
2. 1. 会社 / 自己紹介 2. プライベートパスとは 3. Azureと通信するコンポーネント 4. プライベートパス構成要素 5. 今回の検証構成 6. 検証内容（デプロイ編） 7. 検証内容（運用編） 8. まとめ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 2
3. 1-1. 会社紹介 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 3
4. 1-2. 自己紹介 松本 秀太（Matsumoto Shuta）／三井情報株式会社 ◼ 担当業務 • Azure 全般（特に IaaS、ネットワーク） • Azure Local・Azure Arc を主とした製品技術担当。提案から構築、CSP の運用まで ◼ SNS • X：びりー @b1r1b1r1panda • Qiita：@biri / https://qiita.com/biri 今日の話の前半はQiitaにもまとめています。 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 4
5. プライベートパスとは Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 5
6. 2-1. Azure Localのネットワークの全体像 Azure (インターネット)へのアウトバウンド、ノード間の通信、ADとの通信・・・等々があります。 • 従来からの標準的なConnectedなAzure Localはインター ネットへのアウトバウンドが必須 • オンプレにコントロールプレーンを持たせてクローズドな コントロールプレーン、認証情報等 の保存、アップデートの配信・・・ Azureサービス / リソース OEMのエンドポイント 環境で実行するDisconnected Operations (ALDO)もあり Internet 今日紹介するプライベートパスはConnectedなAzure Local のアウトバウンドの構成の新しいパターン ファイアウォール / Proxy オンプレミス Azure Local Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. AD DS 6
7. 2-2. プライベートパスとは 2608からサポートされたAzureへの接続における新しいネットワークの構成です。 • 完全クローズドなオンプレ環境で利用するDisconnectedとは異なり、従来からあるConnectedなデプロ イで選べる構成の1つ • ExpressRoute / S2S VPNでオンプレのネットワークをAzure VNetにプライベートに接続して、Azure サービス/リソースへのアクセスをAzure Firewallで制御 ※2608 以降の新規デプロイで利用可能で、既存クラスターの構成変更は不可 オンプレミス Azure 仮想ネットワーク Azure Local ExpressRoute / S2S VPN Azure Firewall 明示的なプロキシ Azureサービス / リソース Azure Arc Key Vault ストレージ ・・・など Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 7
8. 2-3. Connectedにおける通信制御の苦労 東日本リージョンで現在80のエンドポイントへのアウトバウンド通信が必要です。 オンプレのファイアウォールやプロキシで制御する必要があります。 ◼ エンドポイントの管理と苦労 80のエンドポイントにはワイルドカードを含む宛先もあり（*.servicebus.windows.net 等） Azure MonitorやDefender、AVD等、ホストやゲストで追加機能を使う場合はさらに追加の要件も発生 オンプレのネットワーク管理者との調整、オンプレネッ トワークの管理ポリシーへの準拠に苦労 （Azureの仕様変更にオンプレFWの変更で追従） 複数拠点にクラスターがあり、インターネット出口が集 約されていなければ拠点ごとに管理が必要 ◼ 一方で、改善されている面もあり・・・ • エンドポイントの数は後述のArc Gatewayで集約 できるようになってきている Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 8
9. 2-4. プライベートパスは何を変えてくれるか？ インターネットへの通信制御をAzure Firewallに移して、オンプレでのインターネットへの通信制御を排除！ ◼ Azure LocalはあくまでConnectedのまま • Azureサービスのパブリックなエンドポイントに対して通信はおこなう • ただし、経路をExpressRoute (S2S VPN) → Azure Firewall → AzureサービスでMicrosoftのバッ クボーンネットワーク内に閉じる ◼ Azure Arc Private Link Scopeには引き続き非対応 • Azure Arc対応サーバやArc対応k8s向けのプライベートリンクによる閉域化の仕組みとは別 “プライベート”と名前が付くものの、通信が閉域化されるわけではなく、Microsoftのバックボーンネット ワークの範囲では引き続きインターネットへのアウトバウンドが必要な点は誤解しないように注意！ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 9
10. 2-5. Connectedのネットワークパス選択肢 シンプルなデプロイ Azureサービス / リソース OEMのエンドポイント Arc Gateway + プライベートエンドポイント 利用のデプロイ Azureリソース Azureサービス OEMの エンドポイント プライベートパス利用のデプロイ Azureリソース Azureサービス OEMの エンドポイント Internet Arc Gateway Arc Gateway PEs PEs Azure VNet Internet ExpressRoute / S2S VPN Azure Firewall 明示的なプロキシ Internet Azure VNet 凡例 ExpressRoute / S2S VPN プライベートな通信 パブリックのInternetを経由する通信 Microsoftのバックボーンネットワーク を経由する通信 ファイアウォール / Proxy CEルータ ファイアウォール / Proxy CEルータ オンプレミス Azure Local Azure Local Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. Azure Local 10
11. 2-5. Connectedのネットワークパス選択肢 シンプルなデプロイ Azureサービス / リソース OEMのエンドポイント Arc Gateway + プライベートエンドポイント 利用のデプロイ Azureリソース Azureサービス プライベートパス利用のデプロイ Azureリソース OEMの エンドポイント Azureサービス OEMの エンドポイント Internet Arc Gateway Arc Gateway PEs PEs Azure VNet Internet これまでの機能で実現できた最大限の閉域化構成 閉域化にこだわらずExpressRoute / S2S VPNは用 いずに、Arc Gatewayのみ使って通信制御の簡素化 凡例 するだけの構成ももちろんOK プライベートな通信 ExpressRoute / S2S VPN Azure Firewall 明示的なプロキシ Internet Azure VNet SBE update等で必要なOEMのエンドポイントはパブ リックなInternet経由（プライベートパスの範囲外） ExpressRoute / S2S VPN パブリックのInternetを経由する通信 Microsoftのバックボーンネットワーク を経由する通信 ファイアウォール / Proxy CEルータ ファイアウォール / Proxy CEルータ オンプレミス Azure Local Azure Local Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. Azure Local 11
12. Azureと通信するコンポーネント Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 12
13. 3-1. Azureと通信するコンポーネント ホストノードだけでなく、Arc Resource Bridgeやゲストの通信も考慮が必要です。 オンプレミス（Azure Local） Azure Arc・テレメトリ・PaaS ホストノード Arc Resource Bridge (ARB) Azure Arc 管理プレーン Azure Monitor Insights機能による監視、 AKS・VMの監視 Key Vault 認証情報の管理 ストレージ Cloud Witness Container Registry AKSのイメージ管理 Resource Manager 管理プレーン 管理プレーンの常時通信 ※Azure Local上で実行されるアプライアンスのVM 管理プレーン・イメージ取得 AKS Arc ゲスト管理における管理・PaaS Azure Local VM Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 13
14. 3-2. プライベートパスのカバー範囲 プライベートパスのカバー範囲は基本的にはホストノードとARB、AKSです。 VMは別途管理です。 オンプレミス（Azure Local） Azure プライベートパスのカバー範囲 Arc・テレメトリ・PaaS ホストノード Azure Arc 管理プレーン Azure Monitor Insights機能による監視、 AKS・VMの監視 Key Vault 認証情報の管理 ストレージ Cloud Witness Container Registry AKSのイメージ管理 Resource Manager 管理プレーン 管理プレーンの常時通信 Arc Resource Bridge (ARB) 管理プレーン・イメージ取得 AKS Arc ゲスト管理における管理・PaaS Azure Local VM プライベートパスとは別にワークロード側で個 別に管理が必要(逆に言えば、個別に管理できる) Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 14
15. プライベートパスの構成要素 ◆ Azure Arc Gateway ◆ Azure Firewall (明示的なプロキシ) ◆ プライベートエンドポイント ◆ ExpressRoute / S2S VPN Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 15
16. 4-1. プライベートパス構成要素：Azure Arc Gateway 1/2 約80のエンドポイントを集約する仕組みです。ワイルドカードのエンドポイントも不要にできます！ ◼ 仕組み • Azureリソースとして自分専用のエンドポイント（XXX.gw.arc.azure.com）を用意 • Azure LocalのArc登録時に指定することで、Azure Localのホストノード内にローカルプロキシ (Arc Proxy)が立ち上がり、HTTPS通信をArc Proxyが中継してArc Gatewayに転送 • ARBもクラスターIPを経由してホストノードのローカルプロキシ経由で通信 ホストノード HTTPS通信 Azure Azure Arc Gateway ⇒ https://<ユニークID>.gw.arc.azure.com Arc Proxy ⇒ http://localhost:40343 自分専用のエンドポイント Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 16
17. 4-1. プライベートパス構成要素：Azure Arc Gateway 2/2 Azure Localが対応するArc GatewayはHTTPSのみに対応します。 証明書失効確認等のHTTPのエンドポイントや一部のHTTPS通信はArc Gatewayを経由させられません。 ◼ Arc Gatewayで集約されないエンドポイント • aka.ms、login.microsoftonline.com、management.azure.com、等 • 認証情報保存用のKey Vault、Cloud Witnessのストレージアカウント等の個別のAzureリソース • 各種OCSP / CRLのHTTP (TCP/80)のエンドポイント ◼ その他の制約・注意事項 • Arc Gatewayの設定はホストノードをArcに登録するときのみの ため、構築後の有効化は不可 • Arc Gatewayのカバー範囲は日々増えているため最新の情報は リファレンスを参照 ただし、このリファレンスはArc Gatewayとしての情報でAzure Localが使うArc Gatewayの対応エンドポイントは差異あり Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 17
18. 4-2. プライベートパス構成要素：Azure Firewall の明示的プロキシ 1/2 プロキシ自体は元々利用OKでした。 ◼ 設定 • Arc Gatewayと同様にArc登録時に設定（後からの設定変更は不可） • WinInet、WinHttp、環境変数、Connected Machin Agent (Arcのエージェント)に設定される • ドメインや管理用サブネット等はバイパスリストに登録が必須（登録内容はプライベートパスにて詳述） ◼ 非対応なプロキシ • ユーザー名・パスワード認証が必要なプロキシには非対応 • “.local”ドメインのプロキシも非対応 • PACファイルも非サポート Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 18
19. 4-2. プライベートパス構成要素：Azure Firewall の明示的プロキシ 2/2 2026年8月にAzure Firewallの明示的なプロキシ機能がGAしました！ ◼ Azure Firewallの明示的なプロキシ機能 • Azure FirewallをプロキシとしてAzure VM等から利用可能。これによりUDRでサブネット単位に指 定していたFirewallへのルーティングがサーバ単位に指定可能に • Azure VNet外からも利用でき、プライベートパスではAzure LocalのプロキシとしてAzure Firewall を利用することで、Azure Localのアウトバウンド通信をAzure Firewallで制御 ◼ 制約 • Azure FirewallのSKUはStandard / Premium • TLSインスペクションは不可 • PACファイルは非サポート Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 19
20. 4-3. プライベートパス構成要素：プライベートエンドポイント Key Vault、ストレージ、ACR等のAzureリソースへの通信はプライベートエンドポイントで閉域化OK ※通常の構成でもサポートされるため制約なし ◼ MS LearnやODINで明示的に言及されているサービス • Key Vault、ストレージアカウント、ACR (AKS 用)、ASR (Azure Site Recovery)、Recovery Service コンテナ (MABS)、SQL Managed Instance、Defender for Cloud ⇒Azure Monitorについては言及なし（検証で後述） ◼ 注意点 • Key Vaultとストレージアカウントのパブリックエンドポイントはデプロイ中は閉じられない • ACRは*.azurecr.ioのワイルドカードが使えないため、利用するACRを事前に準備必須 • ARBの予約レンジ (10.244.0.0/16、10.96.0.0/12)とプライベートエンドポイントのIPは重複不可 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 20
21. 4-4. プライベートパス構成要素：ExpressRoute / S2S VPN オンプレミスとAzure VNetはExpressRoute or S2S VPNで接続します。 ◼ 接続については特別な考慮は不要、通常通りに接続すればOK オンプレミス（Azure Local） Azure ホストノード Azure Arc 管理プレーン Azure Monitor Insights機能による監視、 AKS・VMの監視 Key Vault 認証情報の管理 ストレージ Cloud Witness Container Registry AKSのイメージ管理 Resource Manager 管理プレーン Arc Resource Bridge (ARB) ExpressRoute / S2S VPN Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 21
22. 4-5. 宛先別Azure Localの通信経路 プライベートパスの通信経路 ①Arc Gatewayがサポートする宛先 HTTPS Arc Proxy localhost:40343 ② Azure Firewall 明示的プロキシ Arc Gateway Azure Firewall 明示的プロキシ Azureの各サービス & 3rdパーティ、外部サービス Private Endpoint Key Vault / ストレージ 等 Azureの各サービス ① ③ ②HTTP と Arc Gatewayが サポートしない宛先 HTTP / HTTPS ③Private Link 宛 HTTPS Arc Proxy非経由 集約対象外の宛先 プロキシをバイパス 宛先へ直行 凡例 プライベートな通信 パブリックのInternetを経由する通信 Microsoftのバックボーンネットワーク を経由する通信 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 22
23. 検証環境 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 23
24. 5-1. 今回の検証構成 ◼ オンプレ側：Nested Hyper-V で Azure Local 2ノード • バージョンは2608 • Azureとの接続はExpressRoute • オンプレ側ファイアウォールではクラスターが利用するIPレンジからの通信はすべて拒否 ◼ Azure 側：VNet ＋ Azure Firewall Standard（明示的プロキシ有効） • Arc Gateway、Key Vault、Cloud Witness用ストレージを事前に準備 • Azure Firewallでは通信要件に必要なエンドポイントを最小限のみアプリケーションルールで許可 オンプレミス（Nested Hyper-V） Azure 仮想ネットワーク Azure Local 2ノード Azure Arc Gateway Key Vault Cloud Witness Log Analytics Azure Firewall Standard 明示的プロキシ有効 ExpressRoute ※今回の検証環境では、Azure Localはドメイン参加 ※AD兼DNSサーバはAzure VMを利用 DNSサーバをオンプレに用意する場合はプライベートエンドポイントへの名前解決ができるようにDNS Private Resolver等Azure VNet内にDNSフォワーダーの仕組みが必須なため注意 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 24
25. 5-2. 検証内容（検証していない内容） Nestedの検証環境のためOEMの通信要件、SBE Updateは未検証です ◼ 検証した内容 • 2608でのデプロイ • 2608から2609へのSolution Update • 既定のメトリックの確認とAzure Local Insightsによる監視 • 運用ツール（Support.AksArc）の導入 • Azure Local VM、AKS Arcのデプロイ ◼ 未検証の内容 • OEMのSBE Update Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 25
26. 検証：デプロイ編 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 26
27. 6-1. 事前準備 Key Vaultとストレージアカウントは事前の準備が必須です！ AKSが使うACR (Azure Container Registry)も使う場合は事前に準備を！ ◼ 事前準備するリソース • Arc Gateway • Azure Firewall（明示的なプロキシ設定） • Key Vault、Cloud Witness 用ストレージ（、ACR）と対応するプライベートエンドポイント • Azure Localが参照するDNSサーバにおけるプライベートエンドポイントの名前解決 ◼ 注意点 • Key VaultとCloud Witnessストレージはデプロイ時にAzureポータル・Azure Stack HCIリソースプ ロバイダーがアクセスするため、パブリックエンドポイントのアクセスはデプロイ時は開けておく Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 27
28. 6-1. 事前準備：Azure Firewallの設定 1/3 明示的なプロキシ設定を有効化します。ポート番号は任意でOKです。 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 28
29. 6-1. 事前準備：Azure Firewallの設定 2/3 東日本リージョンのAzure Localで必要なエンドポイント80の内、Arc GatewayがカバーできないHTTP とHTTPSのエンドポイント合計21/25件を許可します。それ以外はDefault Deny。 ※Arc GatewayのFQDNは環境に応じて定義が必要 ※ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 29
30. 6-1. 事前準備：Azure Firewallの設定 3/3 【参考】Arc Gateway非対応の通信要件25エンドポイントの内、今回は以下の4つを除いた21エンドポイ ントを登録しました。Azure Firewallに登録しなかったエンドポイントと理由は以下の通りです。 エンドポイント ポート 用途 (リストから抜粋) 登録しなかった理由 time.windows.com 123 OS time sync in appliance VM & Management machine (Windows NTP). • ADサーバをNTPとして登録するため <Key Vautl名>.vault.azure.net 443 Key vault for deployment secrets. • プライベートエンドポイント利用のため *.endpoint.security.microsoft.com 443 Required only if using Microsoft Defender extension (MDE.windows). • Defender for Servers (Preview)は検証対象外としたため • 必要な場合は登録推奨 https://japaneast.obo.arc.azure.com 8084 Required for AKS extensions in Japan East after initial deployment. • AKSの詳細な検証はおこなわないこととしたため • 必要な場合は登録推奨 ※AKS非利用な場合も登録したほうがよい可能性あり（後述） Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 30
31. 6-1. 事前準備：プロキシ設定情報の整理 プロキシバイパスリストに漏れなく登録することが一番の肝です！ バイパス要素 設定値例 備考 固定登録 localhost, 127.0.0.1 ノードIP、クラスターIP 10.1.10.51,10.1.10.52,10.1.10.53,10.1.10.54 将来ノード追加の可能性がある場合はそのノード のIPも登録 インフラストラクチャサブネット のIP範囲 10.1.10.* CIDRではなく*で範囲指定 ノード名、クラスター名 node01,node02,node03 cluster01 将来ノード追加の可能性がある場合はそのノード のホスト名も登録 ドメイン名 *.contoso.com サブドメインにワイルドカード指定 プライベートエンドポイント <Key Vault名>.vault.azure.net <ストレージアカウント名>.blob.core.windows.net <ストレージアカウント名>.file.core.windows.net “file.core.windows.net“は現状利用がないはずだが ODINでは登録しているため念のため入れておく 一度クラスターをデプロイしてしまうと、プロキシ設定とバイパスリストは変更がサポートされません！ やり直す場合は再デプロイです！ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 31
32. 6-2. プロキシ設定（Arc登録） 1/2 プロキシ設定自体はコマンド1つでWinHTTP、WinInet、環境変数、Connected Machin Agentに反映 ◼ Azure Arcの登録コマンドでプロキシIP、ポート、バイパスリスト、Arc Gateway をまとめて渡すだけ $Subscription = “yoursubscriptionid“ # サブスクリプションID $RG = “yourresourcegroup“ # Azure Localのデプロイ先リソースグループ名 $Tenant = "yourtenantid“ # テナントID $Region = “japaneast” # デプロイ先のリージョン $ProxyServer = “http://azurefirewallinternalIP:port” # Azure FirewallのプライベートIPと明示的なプロキシで指定したポート $ProxyBypassList =“<カンマ区切りのリスト>“ # 前ページのエンドポイントをカンマ区切りで記載 $ArcgwId = “yourArcgwid“ # Arc GatewayのリソースID Invoke-AzStackHciArcInitialization -SubscriptionID $Subscription -ResourceGroup $RG -TenantID $Tenant -Region $Region -Cloud "AzureCloud" -Proxy $ProxyServer -ProxyBypass $ProxyBypassList -ArcGatewayID $ArcgwId Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 32
33. 6-2. プロキシ設定（Arc登録） 2/2 http https → Azure FirewallのIP:8080 ※ポート番号は任意 → localhost:40343（ノード上のArc proxy） WinHTTPのプロキシ、プロキシバイパスリスト設定 WinInetのプロキシ、プロキシバイパスリスト設定 Connected Machin Agentの設定 ⇒Arc GatewayとAzure Firewallのプロキシ情報が確認できる マシンレベルの環境変数にプロキシ、プロキシバイパスリストが設定される Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 33
34. 6-3. ポータルからのクラスターデプロイ ポータルからのデプロイ手順は通常と同様です。 Key VaultとCloud Witness用ストレージアカウントは事前準備したものを指定します。 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 34
35. 6-4. デプロイ時のAzure Firewallのログ確認 1/2 Azure FirewallのアプリケーションルールのログをLog Analyticに保存しておき、 Arc登録～クラスターデプロイ完了までのログを確認した結果です。 Allowで記録されたログ # Destination 1 Arc Gateway 2 www.msftconnecttest.com 3 gbl.his.arc.azure.com 4 login.microsoftonline.com 5 ocsp.digicert.com 6 japaneast.login.microsoft.com 7 oneocsp.microsoft.com 8 management.azure.com 9 je.his.arc.azure.com 10 ts-ocsp.ws.symantec.com 11 s.symcd.com 12 crl.microsoft.com 13 ts-crl.ws.symantec.com 14 ocsp2.globalsign.com 15 aka.ms 16 azurestackreleases.download.prss.microsoft.com Denyで記録されたログ DestinationPort Count 443 9825 80 620 443 296 443 40 80 40 443 38 80 23 443 16 443 16 80 7 80 7 80 6 80 6 80 6 443 4 443 4 Arc Gateway宛てがAllowのログに対して約90% 集約されていることがよくわかる結果 # Destination 1ctldl.windowsupdate.com 2ipv6.msftconnecttest.com 3ipv6.msftncsi.com 4cdn.oneget.org 5www.msftncsi.com 6ecs.office.com 7www.microsoft.com 8settings-win.data.microsoft.com 9v20.events.data.microsoft.com 10japaneast-gas.guestconfiguration.azure.com 11guestnotificationservice.azure.com 12primary-cdn.pki.core.windows.net 13secondary-cdn.pki.core.windows.net 14wdcp.microsoft.com 15wdcpalt.microsoft.com 16agentserviceapi.guestconfiguration.azure.com 17japaneast.obo.arc.azure.com 18caissuers.microsoft.com 19v10.events.data.microsoft.com 20go.microsoft.com 21http ※ヘッダー破損疑い DestinationPort Count 80 4128 80 1217 80 1079 443 652 80 384 443 172 80 49 443 31 443 13 443 12 443 12 80 12 80 12 443 11 443 11 443 10 8084 8 80 4 443 3 443 2 443 2 Deny率は約42%、詳細は次ページ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 35
36. 6-4. デプロイ時のAzure Firewallのログ確認 2/2 ◼ Denyの宛先は3つに分類できる ① 東日本リージョンの通信要件における80のエンドポイントリストに記載がない ⇒13のエンドポイント。多くはhttpで証明書失効確認関連 ② 同リストに記載があり、Arc Gateway非対応（japaneast.obo.arc.azure.comのみ：AKSの拡張機能用で今回明示的に許可しなかったもの） ⇒『Required for AKS extensions in Japan East after initial deployment.』なものの、Arc登録処理のタイミングで8度アクセ スを施行していた ③ 同リストに記載があり、Arc Gateway対応と明示されているもの ⇒6つのエンドポイント。なぜArc Gatewayに集約されなかったのかは不明 加えて今回Azure Firewallからもアクセスできない状態だったがデプロイは成功しており影響も不明 # Destination 1ctldl.windowsupdate.com 2ipv6.msftconnecttest.com 3ipv6.msftncsi.com 4cdn.oneget.org 5www.msftncsi.com 6ecs.office.com 7www.microsoft.com 8settings-win.data.microsoft.com 9v20.events.data.microsoft.com 10japaneast-gas.guestconfiguration.azure.com 11guestnotificationservice.azure.com 12primary-cdn.pki.core.windows.net 13secondary-cdn.pki.core.windows.net 14wdcp.microsoft.com 15wdcpalt.microsoft.com 16agentserviceapi.guestconfiguration.azure.com 17japaneast.obo.arc.azure.com 18caissuers.microsoft.com 19v10.events.data.microsoft.com 20go.microsoft.com 21http ※ヘッダー破損疑い DestinationPort Count 分類 80 4128① 80 1217① 80 1079① 443 652① 80 384① 443 172① 80 49① 443 31 ③ 443 13 ③ 443 12 ③ 443 12 ③ 80 12① 80 12① 443 11① 443 11① 443 10 ③ 8084 8 ② 80 4① 443 3① 443 2 ③ 443 2 ー Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 36
37. 検証：運用編 ◆ Solution Update ◆ 監視機能 ◆ Support.AksArc Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 37
38. 7-1. クラスターの更新（2608 → 2609） 1/3 プライベートパス構成のままSolution Updateに成功！ ① まずは更新プログラムのダウンロードのみ実行 ② ダウンロード完了後、インストール実行 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 38
39. 7-1. クラスターの更新（2608 → 2609） 2/3 デプロイ時同様にAzure Firewallのログを確認 ※”Azure Local Insights Endpoint”は後述の監視設定検証のために追加したもののため無視 Allowで記録されたログ # Destination 1 Arc Gateway 2 Azure Local Insights Endpoint 3 gbl.his.arc.azure.com 4 www.msftconnecttest.com 5 ocsp.digicert.com 6 login.microsoftonline.com 7 japaneast.login.microsoft.com 8 oneocsp.microsoft.com 9 crl.microsoft.com 10 ocsp2.globalsign.com 11 s.symcd.com 12 ts-crl.ws.symantec.com 13 ts-ocsp.ws.symantec.com 14 aka.ms 15 azurestackreleases.download.prss.microsoft.com Denyで記録されたログ DestinationPort Count 443 443 443 80 80 443 443 80 80 80 80 80 80 443 443 14137 3423 301 32 21 21 8 5 4 4 4 4 4 1 1 # Destination 1 ctldl.windowsupdate.com 2 cdn.oneget.org 3 ecs.office.com 4 aproxy.platform.edge.azure.com 5 ipv6.msftconnecttest.com 6 ipv6.msftncsi.com 7 www.microsoft.com 8 mobile.events.data.microsoft.com 9 www.msftncsi.com 10 primary-cdn.pki.core.windows.net 11 secondary-cdn.pki.core.windows.net 12 azureprofiler.trafficmanager.net japaneastqos.prod.warm.ingest.monitor.core.windows.net azgn-japaneast-public-1p-jwos14 vr0001.servicebus.windows.net japaneast15 shared.prod.warm.ingest.monitor.core.windows.net 16 gcs.prod.monitoring.core.windows.net 17 agentserviceapi.guestconfiguration.azure.com 18 japaneast-gas.guestconfiguration.azure.com 19 guestnotificationservice.azure.com ty-azshci-agent-channel-sb-prod20 2.servicebus.windows.net 13 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. DestinationPort Count 80 443 443 443 80 80 80 443 80 80 80 443 1685 591 214 105 101 76 45 20 12 4 4 3 443 3 443 2 443 2 443 443 443 443 2 2 2 2 443 1 39
40. 7-1. クラスターの更新（2608 → 2609） 3/3 ◼ Denyの宛先は2つに分類できる（デプロイ時のログ分類の②は該当なし） ① 東日本リージョンの通信要件における80のエンドポイントリストに記載がない ⇒13のエンドポイント。多くはhttpで証明書失効確認関連。デプロイ時とも重複あり ② 同リストに記載があり、Arc Gateway非対応 ⇒該当なし ③ 同リストに記載があり、Arc Gateway対応と明示されているもの ⇒7つのエンドポイント。先ほど同様に、なぜArc Gatewayに集約されなかったのかは不明 加えて今回Azure Firewallからもアクセスできない状態だったがアップデートは成功しており影響も不明 # Destination 1 ctldl.windowsupdate.com 2 cdn.oneget.org 3 ecs.office.com 4 aproxy.platform.edge.azure.com 5 ipv6.msftconnecttest.com 6 ipv6.msftncsi.com 7 www.microsoft.com 8 mobile.events.data.microsoft.com 9 www.msftncsi.com 10 primary-cdn.pki.core.windows.net 11 secondary-cdn.pki.core.windows.net 12 azureprofiler.trafficmanager.net 13 japaneast-qos.prod.warm.ingest.monitor.core.windows.net 14 azgn-japaneast-public-1p-jwos-vr0001.servicebus.windows.net 15 japaneast-shared.prod.warm.ingest.monitor.core.windows.net 16 gcs.prod.monitoring.core.windows.net 17 agentserviceapi.guestconfiguration.azure.com 18 japaneast-gas.guestconfiguration.azure.com 19 guestnotificationservice.azure.com 20 ty-azshci-agent-channel-sb-prod-2.servicebus.windows.net DestinationPort 80 443 443 443 80 80 80 443 80 80 80 443 443 443 443 443 443 443 443 443 Count 分類 1685 ① 591 ① 214 ① 105 ① 101 ① 76 ① 45 ① 20 ① 12 ① 4① 4① 3① 3① 2 2 2 2 2 2 1 全体のDenyの記録に対しては 圧倒的に少数ではある ③ ③ ③ ③ ③ ③ ③ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 40
41. 7-2. Azure Localの監視機能：Metricと正常性アラート メトリックは追加の設定不要で通常通り取得OK 正常性アラート機能も有効化OK 正常性アラートの有効化で AzureEdgeAlerts拡張機能も 問題なくインストールされる Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 41
42. 7-2. Azure Localの監視機能：Insights 1/5 Insightsを有効化するとAzure Monitor Agent (AMA)がインストールされて、DCR + DCEが構成されLog Analyticsワークスペースにパフォーマンスカウンターとイベントログが収集されます。 ◼ Insightsの有効化 • DCRは有効化時に作られるものを使うのが推奨、DCEとLog Analyticsは事前準備もOK • DCRではデフォルトでInsightsのワークブックが利用するパフォーマンスカウンターとイベントログ が収集されるように設定 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 42
43. 7-2. Azure Localの監視機能：Insights 2/5 Insights利用に必須の通信要件はAzure Monitor Agent (AMA)の通信要件参照と定義されています。 ◼ AMAの通信要件とAzure Localの通信要件、Arc Gatewayのカバー範囲 • データ収集先のLog AnalyticsワークスペースのエンドポイントはArc Gatewayでカバーされていな いが、それ以外はArc Gatewayでカバーされている可能性が高い （少なくともArc-enabled serversではカバーされているということ） # エンドポイント 東日本リージョンの通信 要件80エンドポイント [参考]Arc Gatewayの リスト掲載 1 global.handler.control.monitor.azure.com なし あり 2 global.prod.microsoftmetrics.com あり あり 3 <REGION>.handler.control.monitor.azure.com なし あり 4 <LOG-ANALYTICS-WORKSPACE-ID>.ods.opinsights.azure.com なし なし 5 management.azure.com あり あり 6 <REGION>.monitoring.azure.com なし あり 7 <DCE>.<REGION>.ingest.monitor.azure.com なし あり Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 43
44. 7-2. Azure Localの監視機能：Insights 3/5 Log Analyticsワークスペースへの通信パターン ①Azure Monitor Private Link Scope (AMPLS)を使う ②Log AnalyticsワークスペースのパブリックエンドポイントのみAzure Firewallで許可する ①AMPLS利用 Azureリソース ②Azure Firewall経由 Azureサービス Azureリソース Arc Gateway AMPLS利用 Azureサービス プライベートな通信 パブリックのInternetを経由する通信 Microsoftのバックボーンネットワーク を経由する通信 Arc Gateway Azure Firewall 明示的なプロキシ PE 凡例 Azure VNet Azure Firewall 明示的なプロキシ Azure VNet ExpressRoute / S2S VPN ExpressRoute / S2S VPN オンプレミス Azure Local Azure Local Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 44
45. 7-2. Azure Localの監視機能：Insights 4/5 ①AMPLS利用のメリットと懸念 ODINではプライベートエンドポイントの対応一覧があ るが、Azure Monitorの記載が一切ない ◼ メリット • AMPLSを使うことでKey Vault等と同様にプライ ベートエンドポイントで接続できる ◼ 懸念 • AMPLSの利用がプライベートパスでサポートされ るのかどうか？ あくまでAzure Firewall + ExpressRoute / S2S VPN + Arc Gatewayの構成について言及しているのみで、プ ライベートエンドポイントについて制限しているよう には見えないが、MS Learnのプライベートパスの説明 にAMPLSは出てこない Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 45
46. 7-2. Azure Localの監視機能：Insights 5/5 ②Azure Firewallで許可するメリットと懸念 ◼ メリット • リソース固有のエンドポイントのため比較的許可のハードルが低いと考えられる <LOG-ANALYTICS-WORKSPACE-ID>.ods.opinsights.azure.com • Microsoftのバックボーンネットワークには閉じている ◼ 懸念 • プライベートエンドポイント利用ではないこと 今回の検証では②のパターンで動作確認 実際に上記のエンドポイントのみAzure Firewallで許可すればInsightsが利用できることを確認 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 46
47. 7-3. 運用ツール（Support.AksArc）のインストール 1/2 ◼ Support.AksArcのInstall-Moduleが通らない • Support.AksArcはAzure Localのインフラの問題を検出・修復するモジュール • PSGalleryで提供されており、PSGalleryへの通信が80のエンドポイントへの許可だけでは通らない ◼ Azure FirewallのDenyログとArc Gatewayのカバー範囲の比較 比較 エンドポイント（2種類） Denyされているエンドポイント cdn.powershellgallery.com、cdn.oneget.org Arc Gatewayのカバー範囲 psg-prod-eastus.azureedge.net 、onegetcdn.azureedge.net cdn.oneget.orgはデプロイ時から継続して Denyが記録されていたため、Install-Module 起因ではない可能性あり ◼ DNSレコードを確認すると同じCDN (IPアドレス)に別名でアクセスしているため拒否されていた ⇒Azure FirewallのアプリケーションルールではIPではなくFQDNでチェックされるため拒否される Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 47
48. 7-3. 運用ツール（Support.AksArc）のインストール 2/2 オフラインインストールの場合は”Import-Module“時に自動更新を回避する指定が必要です。 ◼ オフラインインストール時の挙動 • PSGalleryからダウンロードしてきたモジュールを インポートしてみる • インポート時にデフォルトでは自動更新（UpdateModule）を試みるためこの状態ではインポートに 失敗する ◼ 回避方法 • Support.AksArcには自動更新スキップのオプションがあるため、Import-Module時に自動更新をス キップする引数をArgumentList経由で渡すことで回避 > Import-Module –Name support.aksarc –ArgumentList @{ SkipUpdate = $true } Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 48
49. まとめ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 49
50. 8-1. 結局プライベートパスは何が嬉しいのか？ ① 通信制御の管理をAzureの仕組みに移管できる ② 可能な限りプライベートでMicrosoftのバックボーンネットワークに通信を閉じられる ① 通信制御の管理場所がAzureに一元化 • オンプレファイアウォール / プロキシのルール管理から離れられる • Azure側のエンドポイント仕様変更にもAzure側の設定変更で追従可能 • 組織的な都合で言うと、オンプレのネットワーク管理者への依頼を削減できる • Azure Firewallのログで通信を可視化できる ⇒ Azure Localを導入するAzureネイティブな組織には意外と重要な要素 ② 可能な限りプライベート • 完全プライベート、閉域が要件な場合は素直にDisconnectedを選択 • 可能な限り”プライベート”であったり、オンプレにインターネットへの接続経路を持ちたくない ケースでの選択肢の一つ Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 50
51. 8-2. 導入検討時に考慮しておきたいこと ◼ 活用するAzureサービスの検討と事前準備 • Key VaultやAKS用のACR、Azure Local Insights等、PaaSリソースへの通信経路の考慮 • PaaSリソースへの通信にプライベートエンドポイントを使う場合のプロキシバイパスリストの登録 ◼ ネットワークインフラの敷設と拡張 • ExpressRoute / S2S VPNの帯域確保（更新プログラムやAKSのイメージ等のDL経路になる） • Azure Firewallの帯域確保（同上） ◼ その他 • OEMベンダーがプライベートパス構成を許容しているかどうかの確認、OEMベンダー独自の通信要 件の確認と通信経路の確保 • ノード拡張を見込む場合はホスト名のプロキシバイパスリストへの事前登録 • 厳密に通信制御する場合、Arc Gatewayの集約状況はMicrosoftサポートへの確認も検討 Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 51
52. Copyright 2026 MITSUI KNOWLEDGE INDUSTRY CO., LTD. All rights reserved. 52